投稿者:

AWS, re:Invent, S3, データレイク

AWS re:Invent 2016に参加して思ったことです。

データ分析基盤の最近のトレンドとしては、リアルタイム処理、サーバレス、DataLake(データレイク)、となっているようです。

コンポーネント

コンポーネントとしては、S3、Kinesis、Lambda、DynamoDB、Elasticsearchがメインに利用されていて、特にKinesisでリアルタイム処理を行っている事例が多かったです。
KinesisはFirehoseもS ...

投稿者:

AWS, Batch, re:Invent

AWS re:Invent 2016 で発表のあった Batch のプレビューの申し込みをしましたので、手順を記載します。

用意するもの

プレビューを利用するアカウントのアカウントID

所要時間

5分~10分ほど

アカウントIDの調べ方AWSマネージメントコンソールから、プレビューを利用する環境のアカウントにログイン
「Support」タブの「Support Center」をクリック


アカウントIDが画面右上

投稿者:

AWS, Batch, re:Invent

AWS re:Invent 2016で新サービスAmazon Batchの発表とデモをみたので簡単にまとめました。

概要Batchはコンテナのように使える
ワークフローのように使え、依存や独立も定義可能
スケジュール設定が可能
Batchの利用料金は無料、処理に使ったリソースの分(インスタンス)料金がかかるリソースは動的に設定できる

2016/12現在 USEast Virginiaリージョンのみ利用可能
今後Lamdbaファ ...

投稿者:

Athena, AWS, re:Invent, イベントレポート

AWs re:Invent 2016で新サービスとして発表されたAthena(アテナ)のセッション Intro to Amazon Athena (BDA303) に
参加してきたときのまとめです。

Amazon AthenaAthena概要

S3バケット内にあるファイルのデータをSQLを使用することによって
データ分析することができる。

仕組み

・エンジンとしてPrestoを採用
 EMRもPrestoを使用できるが、EMR ...

投稿者:

AWS, re:Invent, イベントレポート

出展ブースの雰囲気

ことしの出展ブースの傾向やユーザの意向は こちらの記事 をご参照ください。

自分はもっとライトな感じで出展ブースの雰囲気をお伝えしたいと思います。

ブースは大型の会場内に大小のブースが並んでおり、入口にテーブルと椅子で作業できるようになっていたり
奥の方でもブース1つ分のスペースを電源、wifi、カフェ(コーヒー無料)を備えた休憩場所として提供していました。

ノベリティ

ブースの傾向は監視系、BIツール、AWS ...

投稿者:

AWS, re:Invent

1.概要

Day1、Day2のKeynote内で発表される新サービス時にNEW LAUNCHとして新サービスのセッションがスケジュールに公開となります。
そのときのノウハウを共有します。

2.NEW LAUNCH SESSION

Keynote Day1、Day2終了後、新サービスのセッションがスケジュール表に出現します。
基本的にDay1、Day2のセッションはDay2のKeynote後にセッションがありますのでスケジュールの確認をしてください ...

投稿者:

Aurora, AWS, PostgreSQL, re:Invent

すごくざっくり概要だけまとめます。
※誤訳があったらすみません。

アーキはMySQL for Aurora とほとんど同じ
cacheはレイヤが別なのでリスタートしてもcacheが載った状態からリスタートします。


性能はPostgreSQLより、2~3倍よいといってました
Crashからのリカバリは85倍も速いといってました。


これ確か監視のダッシュボードになります。下の部分はSlowQuery ...

投稿者:

AWS, re:Invent, イベントレポート

イベント2日目の夕方から、企業が出展しているブーススペースがやっと開放されました。
初日からは、開催していません。。

みんなが、おそらくお土産を頼んでるであろうイベントですね。
ブースによっては、抽選をつけたりして、客の目をひかせようと頑張っていました。

出展ブースに行ってみよう

とはいえ、有名企業から、スタートアップ企業までいろんな人達がブースを出しているので、かなりのいい刺激になりました。
下手なセッション行くよりも勉強 ...

投稿者:

AWS, re:Invent, イベントレポート

基調講演(keynote)の2日目をまとめてみました。

発表内容オープニング (Werner Vogels(Amazon CTO)氏)

  ・シャツはトランスフォーマー

  ・ベストプラティクスを提供して、AWSプラットフォームで成功を提供したい。

  ・変革(Transformation)

Jeff Lowe氏の講演

  ・「StubHub」、「Versity」、「NINE STAR」

  ・Cloudになること ...

投稿者:

AWS, re:Invent, イベントレポート

AWS re:Inventの初日最終セッションの開発者によるLightning Talk (Developer Lightning Talks and Happy Hour) に参加してきました。
ハッピーアワーと名がつくだけあってアルコールと軽食も会場で振る舞われました。

位置づけとしては、開発者コミュニティサミットとしてコミュニティリーダがそれぞれ5分で最新の開発者ツールやトレンド、
自分たちのリージョンで行われているイベントを