この記事は最終更新日から1年以上が経過しています。
前回までの記事
– AWS Snowball（Import）利用しました。（Snowball利用環境セットアップ）
– AWS Snowball（Import）利用しました。（概要と利用開始まで）
実際に入れます。
コピーコマンド
通常のCLIとほぼ同様です。
オプションつけたい方はこちらを参照ください。
snowball cp -r [コピー元] [コピー先s3://バケット] +--------------------------------------------------------------------------------+ |Average Speed: 37.73 MB/s | |Total Bytes Transferred: 2.65 TB/2.65 TB | |Total Transfer Time: 20 hour(s) 27 min(s) 25 sec(s) | |Total Files Transferred: 89,908/89,908 | +--------------------------------------------------------------------------------+ |
結果
20回ほどの実行結果となります。
| # | ファイル総容量[TB] | 平均転送速度[MB/s] | 転送時間 |
|---|---|---|---|
| 1 | 2.4 | 32.32 | 12:48:00 |
| 2 | 2.7 | 37.73 | 20:27:25 |
| 3 | 2.7 | 31.03 | 25:33:50 |
| 4 | 2.6 | 51.6 | 14:55:13 |
| 5 | 2.2 | 34.09 | 18:59:03 |
| 6 | 2.7 | 36.67 | 21:23:21 |
| 7 | 2.5 | 34.17 | 20:54:30 |
| 8 | 2.5 | 34.5 | 21:11:57 |
| 9 | 2.6 | 37.47 | 20:05:13 |
| 10 | 2.6 | 50.34 | 14:52:33 |
| 11 | 2.1 | 49.72 | 12:27:44 |
| 12 | 2.6 | 34.45 | 22:03:36 |
| 13 | 2.0 | 32.35 | 18:09:25 |
| 14 | 2.4 | 33.45 | 20:50:44 |
| 15 | 2.2 | 32.81 | 19:17:09 |
| 16 | 2.7 | 37.24 | 21:08:29 |
| 17 | 1.4 | 32.16 | 12:23:12 |
| 18 | 3.6 | 31.86 | 32:53:15 |
| 19 | 1.9 | 33.3 | 16:10:02 |
| 20 | 1.6 | 21.5 | 22:13:46 |
| 21 | 1.7 | 21.57 | 22:20:21 |
| 22 | 0.8 | 32.57 | 6:59:12 |
| 23 | 3.1 | 32.7 | 27:45:40 |
| 24 | 2.3 | 31.22 | 21:15:58 |
| Total | 53.3 | – | 454:21 |
実際のところ複数台同時実行したため10日ほどで完了しました。
コピー結果の検証
コピー中にエラーは発生しませんでしたが、
AWSより推奨されているので実行します。
snowball validate コピー先s3://バケット [Total: 1 Successful: 1 Invalid: 0 Incomplete: 0] (略) [Total: 2045886 Successful: 2045886 Invalid: 0 Incomplete: 0] |
実行時間は26時間程度かかり想定外でした。。。
復号や圧縮を戻して検証しているのでしょうか。
返却
発送時に着払伝票が入っているので、記載し返却します。
発送手続き時にもありましたが、AWSへジョブIDをメールします。
AWS側データ投入
完了した際出力されるレポート（Job Completion Report）を見ると
返却後2日ほどで開始され4日ほどで投入完了したようです。
（AWSから投入完了メールも来ます）
まとめ
事前に環境準備やボトルネック分析は実施しておいたほうが良いです。
特にボトルネック次第で（今回はNASです）あっという間に10日なんてことも。
夜間も有効活用できるような仕組みは考えておいたほうが良いです。
また、Snowball EdgeだとUSBポートがついているので、
今回の作業内容の選択肢としてはありかなと思います。
無事完了しました！
この記事を書いた人
- レコチョクでは、メタ情報・音源関連の管理を担当しています。
最近書いた記事
2017.09.08今後の映像技術について
2017.08.24AWS Snowball（Import）利用しました。（結果とまとめ）
2017.08.22MPEGにおける早送りと巻戻しの違い- 2017.06.02AWS Snowball（Import）利用しました。（Snowball利用環境セットアップ）