投稿者：

Advent Calendar 2024, AWS, CloudFormation, CloudFront, Route53, S3, YAML

この記事はレコチョク Advent Calendar 2024の19日目の記事となります。

はじめに

こんにちは。
次世代プロダクト開発Gで、主にバックエンド領域で業務をしている徐と申します。

今年もAdvent Calendar シーズンがやってきました！

担当しているサービスのEggs Passは、2020年5月にリリースされて以来、たくさんのユーザーが楽曲を配信しています。Eggs Passでは、楽曲を登録するだけで、Ap ...

投稿者：

AWS, CloudFormation, CloudTrail, CloudWatchEvents, ECS, S3, YAML

はじめに

こんにちは！NX開発推進部 次世代プロダクト開発 Gエンジニアをしている徐です。
バックエンドの開発を主に行っております。

好きなプログラミング言語はPythonで、お気に入りのAmazon Web Services（以下、AWS）サービスはAWS Lambdaになります。

今回は、S3イベントで実現するECSバッチ起動についてご紹介します。

背景・課題

現在、開発に携わっているシステムでは、CSVファイルをトリガーとし ...

投稿者：

AWS, AWSCLI, IAM, S3

参照方向はアカウントAのバケットに対してアカウントBがAssumeRoleを設定してアクセス・操作を行います。

設定方法環境A（参照先)ロールの作成（今回の場合はS3の操作）
コンソールからIAM>ロール>ロールの作成を選択
エンティティの種類：別のAWSアカウント
アカウントID：参照元のAWSアカウントID（今回の場合はアカウントB）
※デフォルト設定しなければ、アカウントBのrootに権限が付与されます ...

投稿者：

AWS, S3

やろうとしたこと

AWSアカウント1 から、AWSアカウント2のバケットにファイルを置き、AWSアカウント3 でファイルを取得する。

準備

環境は以下の通り。これでいけるでしょう。

共有バケットの作成： AWSアカウント2 でバケット kyouyu を作成。
アクセス側の設定 ：AWSアカウント1 とAWSアカウント3 で kyouyu へのアクセス許可を付与したロール作成。（記載省略）
共有バケットの設定：バケットポリシーで上記ロールのアクセ ...

投稿者：

AWS, AWSCLI, S3

AWSCli で音源をS3に格納しました。
その際、ローカルのMD5値とS3のETag値を比較し確認をしましたが、一致しないケースが多数ありました。
どうにか確認できないかと調べてみました。

例）
音源ファイル ：xxxxxx.3gp
ETag値 ：396321df76a1493be6856ef7180541de-2
MD5値 ：7cdfe2bcd8652d4686dbc0e294997186

そもそもETag（ ...

投稿者：

AWS, Python, S3

大変なのかと思っていたのですが、ライブラリが揃っていて思っていたより簡単に実現できました。

環境言語Python 3.5.2

ライブラリFlask 0.11
boto3 1.3.1

AWS 側の設定として、 Web サーバから 対象となる S3 のファイルへ読み込みアクセスの許可が必要な場合があります。

コード(略)from boto3 import resourcefrom flask import send_fil ...

投稿者：

AWS, S3, Snowball

前回までの記事
– AWS Snowball（Import）利用しました。（Snowball利用環境セットアップ）
– AWS Snowball（Import）利用しました。（概要と利用開始まで）

実際に入れます。

コピーコマンド

通常のCLIとほぼ同様です。
オプションつけたい方はこちらを参照ください。

snowball cp -r [コピー元] [コピー先s3://バケット]+------- ...

投稿者：

AWS, S3

１．概要

オンプレ版画像サーバの移行に伴い、NASに配置された200万以上のファイルを
S3にアップロードする必要がありました。
ただ、至るところに同じディレクトリのシンボリックリンクが設定されているため、
CLIの「aws s3 sync」を利用すると、不要なシンボリックリンクのファイルもアップロードしてしまいました。

そのため、シンボリックリンク配下のファイルを除いて、S3へアップロードする方法を検討しましたので、
それを明 ...

投稿者：

AWS, S3, Snowball

環境をセットアップします。
作業用PCにSnowballクライアントのインストール、L2スイッチを使いSnowballやNASをネットワークに参加します。

SnowballセットアップSnowballのステータス

Snowball到着後のジョブステータスです。

途中のステータスのキャプチャ取るのを忘れました。

StatusメモJob Createdジョブ作成完了Prepared applianceSnowball準備中Prepared ...

投稿者：

AWS, S3, Snowball

AWS Snowball（Import）を利用しました。

実際の作業内容と気づいた点などを中心に（何回かに分けて）まとめます。

詳細なスペックや操作方法は、AWSのドキュメントを見て頂ければと思います。
記載時点でSnowball配送手続きの一部は、AWS側とやり取りする必要があるので、利用する場合は、AWSの方から頂ける資料を確認する必要があります。
東京リージョンでの利用は今後予定されているようですので、今回はAWSと相談させ ...