投稿者:

AWS, S3, Snowball

前回までの記事
– AWS Snowball(Import)利用しました。(Snowball利用環境セットアップ)
– AWS Snowball(Import)利用しました。(概要と利用開始まで)

実際に入れます。

コピーコマンド

通常のCLIとほぼ同様です。
オプションつけたい方はこちらを参照ください。

snowball cp -r [コピー元] [コピー先s3://バケット]+------- ...

投稿者:

AWS, S3

1.概要

オンプレ版画像サーバの移行に伴い、NASに配置された200万以上のファイルを
S3にアップロードする必要がありました。
ただ、至るところに同じディレクトリのシンボリックリンクが設定されているため、
CLIの「aws s3 sync」を利用すると、不要なシンボリックリンクのファイルもアップロードしてしまいました。

そのため、シンボリックリンク配下のファイルを除いて、S3へアップロードする方法を検討しましたので、
それを明 ...

投稿者:

AWS, S3, Snowball

環境をセットアップします。
作業用PCにSnowballクライアントのインストール、L2スイッチを使いSnowballやNASをネットワークに参加します。

SnowballセットアップSnowballのステータス

Snowball到着後のジョブステータスです。

途中のステータスのキャプチャ取るのを忘れました。

StatusメモJob Createdジョブ作成完了Prepared applianceSnowball準備中Prepared ...

投稿者:

AWS, S3, Snowball

AWS Snowball(Import)を利用しました。

実際の作業内容と気づいた点などを中心に(何回かに分けて)まとめます。

詳細なスペックや操作方法は、AWSのドキュメントを見て頂ければと思います。
記載時点でSnowball配送手続きの一部は、AWS側とやり取りする必要があるので、利用する場合は、AWSの方から頂ける資料を確認する必要があります。
東京リージョンでの利用は今後予定されているようですので、今回はAWSと相談させ ...

投稿者:

Jenkins, S3

ビルドサーバ構築する際に、ビルド後成果物を S3 にアップロードする必要がありました。
今回は S3 Plugin を利用してハマったので、その原因と代替案について書きたいと思います。

S3 Plugin でできること

以下にS3アップロードする際に設定できる項目をまとめます。

項目機能対応するCLIパラメータSourceアップロードするファイルを指定LocalPathExcludeアップロードしないファイルを指定–excludeDe ...

投稿者:

AWS, AWSCLI, S3

1.概要

現在のシステムでは以下のように保存されている。

■格納例
[S3バケット]/[サーバホスト名]/[インスタンスID]/YYYY/MM/DD/[ログ種別]/ログファイル
 ※ログファイルは、5分ごとに1ファイルが作成される。

■パス例

s3://test-recochoku-jp/ api-ap/ api-ap00-i-0ed0250b86b11d3a6/ 2017/02/17/ service_reco_dev.lo ...

投稿者:

AWS, S3, Shell

はじめに

岡崎です。
今回は、タイトル通りディレクトリに変更があったものをS3にアップロードするシェルをつくってみました。
業務上作成したものの簡易版を以下に記載します。

ゴール

指定のディレクトリに何か変更があったもの(ファイル、ディレクトリの上書き・新規作成)に対して
その変更を検知して、S3にその変更内容をアップロードする。

※ただし、指定のディレクトリの構造とS3上のディレクトリ構造は同じにする

例) ...

投稿者:

AWS, re:Invent, S3, データレイク

AWS re:Invent 2016に参加して思ったことです。

データ分析基盤の最近のトレンドとしては、リアルタイム処理、サーバレス、DataLake(データレイク)、となっているようです。

コンポーネント

コンポーネントとしては、S3、Kinesis、Lambda、DynamoDB、Elasticsearchがメインに利用されていて、特にKinesisでリアルタイム処理を行っている事例が多かったです。
KinesisはFirehoseもS ...

投稿者:

AWS, Lambda, Python, S3

やりたかったこと

LambdaでS3に対して、ListObjectsしたい。

コードfrom __future__ import print_function import boto3 s3 = boto3.client('s3') def lambda_handler(event, context):    bucket = event['Records'][0]['s3']['bucket'] ...