re:Invent2017も2日目を迎えました。

簡単にですが、私の行ってきたセッションの一部(Media Intelligence for the Cloud with Amazon AI 【MAE402】)を紹介したいと思います。

概要

Amazon AIサービスを用いて画像や動画といった大量のメディアを最適化してメタデータを付与することで管理したいが、どのように構築し扱っていくかをナショナルジオグラフィック社によるAWS移行の事例をもとに、最 ...

はじめに

冬はつとめて。雪の降りたるは言ふべきにもあらず、霜のいと白きも、またさらでもいと寒きに、火など急ぎおこして、炭持て渡るも、いとつきづきし。
(清少納言 『枕草子』より)

窓から入ってくる強烈な朝日で6時前に目が覚めました。宿泊先の窓からはコンクリートしか見えず、冬の早朝でも全く雅びな感じがしませんでした。
USJ近くのホテルに泊まると言われてワクワクしていたら、ホテルの窓からは工業地帯しかみえなかった子供時代を思い出します。 ...

re:Invent 1日目 レポート

初日は以下の３つのセッションに参加しました。

FSV301 – Security Anti-Patterns: Mistakes to Avoid
SRV314 – Building a Serverless Pipeline to Transcode a Two-Hour Video in Minutes
ABD203 – Real-Time Streaming Applicat ...

今年は弊社から5名のエンジニアが参加します

私は昨年に引き続き2年連続での参加となりますが、基本は社会人2～3年目の若手メンバーが中心となります。
社内や社外へ発信できるように色んなものを持ち帰りたいと思います！

ところで昨年はどんな新サービスが発表されたか

re:Invent では毎年新サービスの発表があります。今年もどんな新サービスが発表されるか楽しみですが、昨年どのような新サービスの発表があったのか少し振り返ってみました。
数が多かったので ...

　これやこの　行くも帰るも別れては
　　 　知るも知らぬも　逢坂の関
　　　　　 (蝉丸　『後撰集』より)

レコチョクが毎年参加している、AWS re:Invent の季節が今年もやって来ました。
このブログを読んでいるような人にわざわざ説明する必要も無いと思うのですが、re:Invent とは Amazon Web Services 最大のイベントで、ラスベガスのホテルを会場にして、新サービスの発表を含め様々な講演・セッションが行わ ...

以前の記事の続きで今回はAWS BillingのCUR(Cost and Usage Report)の方で試してみました。
前回と同様/data フォルダ配下にCSVを配置した状態でZeppelinを立ち上げます。

前回調査不足でちょっと面倒な方法でCSVを読み込んでいたのですが、
Spark2.0からはCSVを読み込む機能が標準で用意されているらしく
以下のようにすることで簡単に読み込むことができるようです。
(loadの引 ...

AWS BillingのCSVはそのままでは見にくいのでDBなどに投入する必要があると思いますが、Zeppelinを使用すれば一時テーブルを使用して簡単にSQLで分析を行うことができます。

GUIからSQLを書くだけでグラフの描画まで簡単にできますのでちょっとした分析をしたいときに便利です。

CSVを一時テーブルに読み込む

Zeppelin上ではR言語やPythonでも書けるのですがデフォルトのでScalaで書いてみました。

Scala ...

サーバーレスを用いたデプロイフローや開発フローを考えた時に
ServerlessFrameworkについていろいろ調査を行い触ってみたので書いてみます。
基本的な流れとして、コンテナからServerlessFrameworkを使用してみました。

目的

サーバーレスアーキテクチャに関する情報を自ら発信することでサーバーレスに関する情報を集める

環境

[ホストOS]

Mac OS X El Capitan (ver. 10.11.3 ...

TimestampがUTCに！

既存のバッチ処理をLambdaに置き換えるという対応をしていたのですが、レコードの登録日時や更新日時が一律UTCになってしまいました。
AmazonLinux最初に立ち上げるとタイムゾーンがUTCになってた記憶があり確かにそうだなと、、
それで色々対応があるなかで一番簡単なのはこれだと思います。

対応方法

環境変数に設定します。SAMだとこのように書けば終了です。

Environment: &nbs ...

DynamoDBから怒られる

Boto3を使ってDynamoDBにデータを入れようとしました。
下記のようなものです。

{    'accountId': '12345',    'date': '2017-09-20',    'list': ['aaa', 'a', ''],    'name': ...