S3マルチパートアップロードのETagの値

2018-02-16AWS, AWSCLI, S3

この記事は最終更新日から1年以上が経過しています。

AWSCli で音源をS3に格納しました。
その際、ローカルのMD5値とS3のETag値を比較し確認をしましたが、一致しないケースが多数ありました。
どうにか確認できないかと調べてみました。

例）
音源ファイル：xxxxxx.3gp
ETag値：396321df76a1493be6856ef7180541de-2
MD5値：7cdfe2bcd8652d4686dbc0e294997186

そもそもETag（エンティティタグ）とは…

HTTPのレスポンスヘッダの一つ。キャッシュの有効性確認に使われる値。
URLにあるリソースに何かしらの変化があればETagも新しい値となる。生成方法は特に規定がない。
参考URL：RFC2616、wiki

AmazonドキュメントのETag値の説明

S3の共通レスポンスヘッダーに説明ありました。
Common Response Headers

シングルパートアップロードはMD5値が入る。
マルチパートアップロードはMD5値が入らない。何が入るかの説明なし。。。

マルチパートアップロード時のETag値

AWS Discussion Forumsに記載がありました。計算式があります。
Again on ETAG and MD5 checksum for multipart

ETag = MD5(Sum(p \in numberParts, MD5(PartBytes(p))) + "-" + numberParts

分割したファイルのMD5値を合算している
合算した値の末尾に – 分割数を追記している。

例）
396321df76a1493be6856ef7180541de-2
2ファイルでマルチパートアップロードされ、合算MD5値は 396321df76a1493be6856ef7180541de

S3の情報とETag計算値の確認

【S3の情報】

$ aws s3api head-object --bucket xxxxxxx --key xxxxxx.3gp

{

"AcceptRanges": "bytes",

"ContentType": "binary/octet-stream",

"LastModified": "Wed, 16 Nov 2016 04:35:34 GMT",

"ContentLength": 9723278,

"ETag": "\"396321df76a1493be6856ef7180541de-2\"",

"Metadata": {}

}

【ETag計算値】
検索すると上記式でETag値を計算するツールなどありましたので、音源 xxxxxx.3gp のETag計算値を出しました。
必要な情報はS3のアップロード時のmultipartのパラメタで、今回はAWSCliのデフォルト値のためどちらも8MBになります。
– multipart_threshold （マルチパート閾値）
– multipart_chunksize （分割単位）