re:Invent 1日目 レポート

初日は以下の３つのセッションに参加しました。

FSV301 – Security Anti-Patterns: Mistakes to Avoid
SRV314 – Building a Serverless Pipeline to Transcode a Two-Hour Video in Minutes
ABD203 – Real-Time Streaming Applicat ...

今年は弊社から5名のエンジニアが参加します

私は昨年に引き続き2年連続での参加となりますが、基本は社会人2～3年目の若手メンバーが中心となります。
社内や社外へ発信できるように色んなものを持ち帰りたいと思います！

ところで昨年はどんな新サービスが発表されたか

re:Invent では毎年新サービスの発表があります。今年もどんな新サービスが発表されるか楽しみですが、昨年どのような新サービスの発表があったのか少し振り返ってみました。
数が多かったので ...

　これやこの　行くも帰るも別れては
　　 　知るも知らぬも　逢坂の関
　　　　　 (蝉丸　『後撰集』より)

レコチョクが毎年参加している、AWS re:Invent の季節が今年もやって来ました。
このブログを読んでいるような人にわざわざ説明する必要も無いと思うのですが、re:Invent とは Amazon Web Services 最大のイベントで、ラスベガスのホテルを会場にして、新サービスの発表を含め様々な講演・セッションが行わ ...

以前の記事の続きで今回はAWS BillingのCUR(Cost and Usage Report)の方で試してみました。
前回と同様/data フォルダ配下にCSVを配置した状態でZeppelinを立ち上げます。

前回調査不足でちょっと面倒な方法でCSVを読み込んでいたのですが、
Spark2.0からはCSVを読み込む機能が標準で用意されているらしく
以下のようにすることで簡単に読み込むことができるようです。
(loadの引 ...

AWS BillingのCSVはそのままでは見にくいのでDBなどに投入する必要があると思いますが、Zeppelinを使用すれば一時テーブルを使用して簡単にSQLで分析を行うことができます。

GUIからSQLを書くだけでグラフの描画まで簡単にできますのでちょっとした分析をしたいときに便利です。

CSVを一時テーブルに読み込む

Zeppelin上ではR言語やPythonでも書けるのですがデフォルトのでScalaで書いてみました。

Scala ...

サーバーレスを用いたデプロイフローや開発フローを考えた時に
ServerlessFrameworkについていろいろ調査を行い触ってみたので書いてみます。
基本的な流れとして、コンテナからServerlessFrameworkを使用してみました。

目的

サーバーレスアーキテクチャに関する情報を自ら発信することでサーバーレスに関する情報を集める

環境

[ホストOS]

Mac OS X El Capitan (ver. 10.11.3 ...

TimestampがUTCに！

既存のバッチ処理をLambdaに置き換えるという対応をしていたのですが、レコードの登録日時や更新日時が一律UTCになってしまいました。
AmazonLinux最初に立ち上げるとタイムゾーンがUTCになってた記憶があり確かにそうだなと、、
それで色々対応があるなかで一番簡単なのはこれだと思います。

対応方法

環境変数に設定します。SAMだとこのように書けば終了です。

Environment: &nbs ...

DynamoDBから怒られる

Boto3を使ってDynamoDBにデータを入れようとしました。
下記のようなものです。

{    'accountId': '12345',    'date': '2017-09-20',    'list': ['aaa', 'a', ''],    'name': ...

はじめに

CloudFrontで独自ドメインのSSL設定する方法をご紹介します。

なぜこんなことやったのか

このようなアーキで、Route53のヘルスチェックを行いフェイルオーバー先をS3の静的ページにしたかったんですが、クライアントからhttpsでリクエストが来るため、S3に独自ドメインのSSL設定が不可でCloudFrontを挟みました。

コンソールのやみ

CloudFrontのEditからSSL Certificate ->Custom

はじめに

ファイル交換用サーバとWEBサーバに対してそれぞれディスクを拡張しました。

ファイル交換用サーバは、OS領域とは別領域にするため新規にEBSを作成し、
WEBサーバは、既に環境構築済のため既存EBSの拡張で対応しました。

EBSボリューム新規追加

　　
１．AWSコンソール画面よりEBSボリュームを新規作成します

２．作成したEBSボリュームをサーバのインスタンスにアタッチします

３．lsblkで物理 ...