ローカルからS3にシンボリックリンクを除いてアップロードする方法

2017-07-28AWS, S3

この記事は最終更新日から1年以上が経過しています。

１．概要

オンプレ版画像サーバの移行に伴い、NASに配置された200万以上のファイルを
S3にアップロードする必要がありました。
ただ、至るところに同じディレクトリのシンボリックリンクが設定されているため、
CLIの「aws s3 sync」を利用すると、不要なシンボリックリンクのファイルもアップロードしてしまいました。

そのため、シンボリックリンク配下のファイルを除いて、S3へアップロードする方法を検討しましたので、
それを明記します。

２．実行コマンド

以下のコマンドを利用します。

find ./ -type f | sed -e 's/^.\///' | xargs -L 1 -P 2 -Ilocalpath aws s3 cp localpath s3://xxxx-xxxx-xxxx-yyyyyyyyy-zz/test_dir/localpath

３．解説

各コマンドとオプションの解説は以下の通りです。

コマンド/オプション	解説
find ./ -type f	指定された（カレント）ディレクトリからファイルのみを検索する。
sed -e ‘s/^.\///’	findの検索結果の先頭に「.」が付与されているので削除する。
xargs -L 1 -P 2 -Ilocalpath	sedコマンドの結果を次のコマンドに渡す。-lのあとの「localpath」は変数として定義する。
aws s3	CLIでS3サービスに関する手続き実行するコマンド。localpathからディレクトリ構成も含めてコピーすることが出来る。