はじめに

　
岡崎です。
今回は、改めてAWSの基礎知識について復習・まとめを行おうと思い、書いています。
(EC2でサーバを立てる等の以前の前提のお話です。)
ちょくちょくインフラの知識についても触れていきます。

AWSで用いられる用語リージョン（Region）
アベイラビリティゾーン（Availability Zone）
VPC
サブネット
プライベートIPアドレス
パブリックIPアドレス
イン ...

あるシステムでアクセスログの保存先にElasticsearchを使用しているということで、
何かに活用できないかデータを少し見せてもらいました。

AWSの機能でElasticsearch + Kibanaを立ち上げてFluentdでサーバからログを転送しているそうです。

ApacheのアクセスログをKibanaから確認します。
CSSやAjaxっぽいログも混じるので使えそうなデータのみに絞ります。

ログはJSON形式で ...

Zero-Downtime Patching の機能が使えるようになりました

No maintenance No Life なRDSに、遂にAuroraバージョン1.10からですがダウンタイムゼロでメンテナンスが実施できるようになりました。
https://aws.amazon.com/jp/blogs/aws/amazon-aurora-update-spatial-indexing-and-zero-downtime-patching/
Postgre ...

VPCが一部IPv6に対応し始めてましたので、ちょっといじってみました。
合わせてEGWなるものが出来ました。

既存のInternetGWはIPv4で、IPv6通信時はEGWで…という経路の使い分けができそうです。
あと、IPv6アドレスを記載する際、Source/DestinationのIPアドレスですが、CIDR記述が必須になってました。

IPv4でいうAnyは [0.0.0.0/0] で、IPv6は、相当するものが 0:0: ...

CloudFormationを使った環境構築、デプロイを行っているのだが、
テンプレートの中で、UserDataを使って、S3からコードを取得したり、環境にあわせて、設定ファイルを書き換えたりという処理を行っている。

このUserDataの中で、例えばS3からのデータの取得に失敗した場合どうなるの？？
取得コマンドだけ書いているだけだと、そのまま処理は走り、Stackのステータスが「CREATE_COMPLETE」になってしまう。
つ ...

AWS re:Invent 2016に参加して思ったことです。

データ分析基盤の最近のトレンドとしては、リアルタイム処理、サーバレス、DataLake（データレイク）、となっているようです。

コンポーネント

コンポーネントとしては、S3、Kinesis、Lambda、DynamoDB、Elasticsearchがメインに利用されていて、特にKinesisでリアルタイム処理を行っている事例が多かったです。
KinesisはFirehoseもS ...

新サービスAmazon Pinpointの発表があったので簡単にまとめました。

概要ユーザデータの分析結果がPinpoint管理画面に表示でき、セグメント分けが可能
それぞれのセグメントに対して、キャンペーンのPUSHメッセージを打つことが可能
キャンペーンの効果測定が可能、送信数や開封数など取得可能
ABテスト機能がついている
配信スケジュールの設定可能
東京リージョンでの開始時期は未定
コストについて個人的な感想料金が高い気 ...

AWS re:Invent 2016 で発表のあった Batch のプレビューの申し込みをしましたので、手順を記載します。

用意するもの

プレビューを利用するアカウントのアカウントID

所要時間

5分～10分ほど

アカウントIDの調べ方AWSマネージメントコンソールから、プレビューを利用する環境のアカウントにログイン
「Support」タブの「Support Center」をクリック

アカウントIDが画面右上

AWS re:Invent 2016で新サービスAmazon Batchの発表とデモをみたので簡単にまとめました。

概要Batchはコンテナのように使える
ワークフローのように使え、依存や独立も定義可能
スケジュール設定が可能
Batchの利用料金は無料、処理に使ったリソースの分（インスタンス）料金がかかるリソースは動的に設定できる

2016/12現在 USEast Virginiaリージョンのみ利用可能
今後Lamdbaファ ...

AWs re:Invent 2016で新サービスとして発表されたAthena(アテナ)のセッション Intro to Amazon Athena (BDA303) に
参加してきたときのまとめです。

Amazon AthenaAthena概要

S3バケット内にあるファイルのデータをSQLを使用することによって
データ分析することができる。

仕組み

・エンジンとしてPrestoを採用
　EMRもPrestoを使用できるが、EMR ...