大規模なバイナリ成果物をAWS S3にバックアップしようとしています。アーティファクトは頻繁に変化するものではありません。したがって、私はアップロードするよりもむしろ同期を探しています。しかし、これらのファイルは数GBのサイズなので、マルチパートアップロードを探しています。何ですかフードの下で使用しますか?マルチパートアップロードを使用するように指示できますか?S3は複数のアップロードを使用/サポートしていますか?
0
A
答えて
0
は、マルチパートアップロードする能力を単一のファイルのために同期S3用のカスタムツールを書かれています。 https://github.com/mikhailadvani/aws_s3sync。それはまた、ピップを介して利用可能です
+0
あなた自身のサイトへのリンクを投稿するときには、[https: //meta.stackoverflow.com/a/260641/1695906)あなた自身のサイトにリンクしているという事実。 –
関連する問題
- 1. s3サーバを使用してs3にアップロード
- 2. 部品を使用したAmazon S3複数のファイルのアップロード
- 3. S3とスパークします。 S3上の複数のハイブターゲット。いくつかのハイブテーブルにはs3:sseを使用し、s3:sseは使用しないでください
- 4. アクセス拒否エラー使用して順番に複数のファイルをアップロードし、AWS S3
- 5. java filechooserを使用してamazon s3バケットに複数のファイルをアップロード
- 6. HttpPostedFileBaseのICollectionを使用して複数のファイルをアップロードしていますか?
- 7. BOMを使用してS3にアップロード
- 8. antタスクを使用してS3アップロード
- 9. MediaElement.jsはAmazon S3からのストリーミングをサポートしていますか?
- 10. s3を使用した複数のファイルアップロード
- 11. 複数のマニフェストファイルを使用してS3からRedshiftにロードしますか?
- 12. 複数のファイルをAmazon S3にアップロード
- 13. Boto:複数のファイルをs3にアップロード
- 14. AWS SDKを使用してS3にファイルをアップロードします。
- 15. AWS SDKを使用してS3に画像をアップロードします。
- 16. AWS S3静的ウェブホスティングを使用してS3にファイルをアップロード
- 17. emrfsはs3 urlのカスタムクエリパラメータをサポートしていますか?
- 18. GraphQLは複数のタイプのオブジェクトをサポートしていますか?
- 19. キャリアウェーブを使用してローカルマシンからs3にファイルをアップロードする
- 20. CakePHPは複数のモデルでトランザクションをサポートしていますか?
- 21. Windowsシェルは複数のシェルプロパティハンドラをサポートしていますか?
- 22. Java 8は複数の継承をサポートしていますか?
- 23. word2vecは複数の言語をサポートしていますか?
- 24. CouchDBは複数の範囲クエリをサポートしていますか?
- 25. aikau MultiSelectInputは複数の値をサポートしていますか?
- 26. WinRT/Metroは複数のモニタをサポートしていますか?
- 27. オブジェクトスクリプトは複数の継承をサポートしていますか?
- 28. は、複数のif文をonblurでサポートしていますか?
- 29. TreeEditorは複数の選択をサポートしていますか?
- 30. Facebookは複数のコールバックURLをサポートしていますか?
'sync'によって、私はあなたが' aws s3 sync'を意味すると思いますか?オープンソースです。あなたは内部を見たことがありますか? –
はい。私は 'aws s3 sync'を意味しました。コードから理解できませんでしたが、特定のファイルに対して生成されたETagを使用して検証できました。 's3 sync'と' s3api put-object'はオブジェクトに対して同じEtagを生成しましたが、 's3api upload-part'は別のものを生成しました –