投稿者：

2017, AWS, re:Invent

　これやこの　行くも帰るも別れては
　　 　知るも知らぬも　逢坂の関
　　　　　 (蝉丸　『後撰集』より)

レコチョクが毎年参加している、AWS re:Invent の季節が今年もやって来ました。
このブログを読んでいるような人にわざわざ説明する必要も無いと思うのですが、re:Invent とは Amazon Web Services 最大のイベントで、ラスベガスのホテルを会場にして、新サービスの発表を含め様々な講演・セッションが行わ ...

投稿者：

AWS, Zeppelin

以前の記事の続きで今回はAWS BillingのCUR(Cost and Usage Report)の方で試してみました。
前回と同様/data フォルダ配下にCSVを配置した状態でZeppelinを立ち上げます。

前回調査不足でちょっと面倒な方法でCSVを読み込んでいたのですが、
Spark2.0からはCSVを読み込む機能が標準で用意されているらしく
以下のようにすることで簡単に読み込むことができるようです。
(loadの引 ...

投稿者：

AWS, Zeppelin

AWS BillingのCSVはそのままでは見にくいのでDBなどに投入する必要があると思いますが、Zeppelinを使用すれば一時テーブルを使用して簡単にSQLで分析を行うことができます。

GUIからSQLを書くだけでグラフの描画まで簡単にできますのでちょっとした分析をしたいときに便利です。

CSVを一時テーブルに読み込む

Zeppelin上ではR言語やPythonでも書けるのですがデフォルトのでScalaで書いてみました。

Scala ...

投稿者：

AWS, docker, Python, serverless

サーバーレスを用いたデプロイフローや開発フローを考えた時に
ServerlessFrameworkについていろいろ調査を行い触ってみたので書いてみます。
基本的な流れとして、コンテナからServerlessFrameworkを使用してみました。

目的

サーバーレスアーキテクチャに関する情報を自ら発信することでサーバーレスに関する情報を集める

環境

[ホストOS]

Mac OS X El Capitan (ver. 10.11.3 ...

投稿者：

AWS, AWS SAM, Lambda

TimestampがUTCに！

既存のバッチ処理をLambdaに置き換えるという対応をしていたのですが、レコードの登録日時や更新日時が一律UTCになってしまいました。
AmazonLinux最初に立ち上げるとタイムゾーンがUTCになってた記憶があり確かにそうだなと、、
それで色々対応があるなかで一番簡単なのはこれだと思います。

対応方法

環境変数に設定します。SAMだとこのように書けば終了です。

Environment: &nbs ...

投稿者：

AWS, Boto3, DynamoDB, Python

DynamoDBから怒られる

Boto3を使ってDynamoDBにデータを入れようとしました。
下記のようなものです。

{    'accountId': '12345',    'date': '2017-09-20',    'list': ['aaa', 'a', ''],    'name': ...

投稿者：

AWS, CloudFront

はじめに

CloudFrontで独自ドメインのSSL設定する方法をご紹介します。

なぜこんなことやったのか

このようなアーキで、Route53のヘルスチェックを行いフェイルオーバー先をS3の静的ページにしたかったんですが、クライアントからhttpsでリクエストが来るため、S3に独自ドメインのSSL設定が不可でCloudFrontを挟みました。

コンソールのやみ

CloudFrontのEditからSSL Certificate ->Custom

投稿者：

AWS, EBS

はじめに

ファイル交換用サーバとWEBサーバに対してそれぞれディスクを拡張しました。

ファイル交換用サーバは、OS領域とは別領域にするため新規にEBSを作成し、
WEBサーバは、既に環境構築済のため既存EBSの拡張で対応しました。

EBSボリューム新規追加

　　
１．AWSコンソール画面よりEBSボリュームを新規作成します

２．作成したEBSボリュームをサーバのインスタンスにアタッチします

３．lsblkで物理 ...

投稿者：

AWS, Python, S3

大変なのかと思っていたのですが、ライブラリが揃っていて思っていたより簡単に実現できました。

環境言語Python 3.5.2

ライブラリFlask 0.11
boto3 1.3.1

AWS 側の設定として、 Web サーバから 対象となる S3 のファイルへ読み込みアクセスの許可が必要な場合があります。

コード(略)from boto3 import resourcefrom flask import send_fil ...

投稿者：

AWS, イベントレポート

2017/9/27（水）に、レコチョクオフィス内（3F）にて 「AWS初心者向けハンズオン Webサーバ構築編」の第4回目を開催せて頂きました。

今回も前回とほぼ同じ内容で進めさせて頂きましたが、AWSの進化にあわせてELB（CLB/Classic Load Balancer）がALB(Application Load Balancer)に進化したり、画面周りや確認方法、解説などがバージョンアップしています。
また、今回からはハンズオンの後、ご参加頂 ...