S3から大きなzipファイルをダウンロードしたときに破損したファイル

Question

S3バケットにサイズ1GBのzipファイルがあります。ダウンロード後、私はそれを解凍することはできません。それはいつも言う

End-of-central-directory signature not found. Either this file is not 
a zipfile, or it constitutes one disk of a multi-part archive. In the 
    latter case the central directory and zipfile comment will be found on 
    the last disk(s) of this archive. 

これ以降、私は今度はs3cmdを使ってダウンロードします。それは

WARNING: MD5 signatures do not match: computed=384c9a702c2730a6b46d21606137265d, received="b42099447c7a1a390d8e7e06a988804b-18" 

私は知っている必要がありますか？これはバグですか？

Answer 1

この質問があることを私に思い出させてくれてありがとう@

問題はすでに解決されていますが、nodejsのAWS SDKが問題になっています。ストリームデータfs.createReadStream()を使用して大きなファイルをアップロードできないようですので、Knoxを使用して完全に動作しました

Answer 2

この質問は死んだようだが、私は誰もがここに着陸のためにそれを頼むよ：あなたがしているので、もし（大きなファイルに適したもの）は、もはやファイルのMD5一致したETag値を生成

アマゾンS3のマルチパートアップロードをこれをチェックサムとして使用します（受信したMD5を見ているようです）。動作しません。

マルチパートアップロードで、アップロード時にファイルが破損しないように、またダウンロード後にデータを確認するために独自のMD5メタデータフィールドを追加することで、ContentMD5ヘッダーがすべてのパーツのヘッダーに確実に追加されます。