S3から特定のファイルを再帰的にコピーする方法
投稿者：山本 耕琢（コウタク）
１．概要
現在のシステムでは以下のように保存されている。
■格納例
[S3バケット]/[サーバホスト名]/[インスタンスID]/YYYY/MM/DD/[ログ種別]/ログファイル
※ログファイルは、5分ごとに１ファイルが作成される。
■パス例
s3://test-recochoku-jp/ api-ap/ api-ap00-i-0ed0250b86b11d3a6/ 2017/02/17/ service_reco_dev.lo ...ディレクトリに変更があったものをS3にアップロードするシェル書いてみた
投稿者：岡崎拓哉
はじめに
岡崎です。
今回は、タイトル通りディレクトリに変更があったものをS3にアップロードするシェルをつくってみました。
業務上作成したものの簡易版を以下に記載します。
指定のディレクトリに何か変更があったもの(ファイル、ディレクトリの上書き・新規作成)に対して
その変更を検知して、S3にその変更内容をアップロードする。
※ただし、指定のディレクトリの構造とS3上のディレクトリ構造は同じにする
例) ...
データ分析基盤のトレンド（AWS re:Invent 2016）
投稿者：Toshiyuki Sato
AWS re:Invent 2016に参加して思ったことです。
データ分析基盤の最近のトレンドとしては、リアルタイム処理、サーバレス、DataLake（データレイク）、となっているようです。
コンポーネントコンポーネントとしては、S3、Kinesis、Lambda、DynamoDB、Elasticsearchがメインに利用されていて、特にKinesisでリアルタイム処理を行っている事例が多かったです。
KinesisはFirehoseもS ...
LambdaからS3に対してListObjectsする
投稿者：福山
やりたかったこと
LambdaでS3に対して、ListObjectsしたい。
コードfrom __future__ import print_function import boto3 s3 = boto3.client('s3') def lambda_handler(event, context): bucket = event['Records'][0]['s3']['bucket'] ...