S3：多数のファイルをアップロードする方法

100kの小さなファイル（合計サイズ：200MB）をアップロードする必要があります。S3：多数のファイルをアップロードする方法

私はウェブブラウザ（AWS Console）でその操作を試みましたが、最初の15分間は2MBしかアップロードしていません。

100kの小さなファイルをS3にアップロードする最も速い方法は何ですか？

出典

2017-02-14 nicq

をインストールしてaws s3 cpコマンドまたはaws s3 syncコマンドを使用して、すべてのファイルをS3にアップロードします。

また、CyberduckやCloudBerry Explorerなど、サードパーティのS3クライアントを使用する方法もあります。

出典

2017-02-14 20:33:02

次のコマンドで 'aws s3 cp'を使用しました：' aws s3 cp myDir s3：// mybucket/--recursive'。詳細：[link]（http://docs.aws.amazon.com/cli/latest/reference/s3/cp.html）。そして私には約3時間かかりました。合計サイズが100KBのファイルをアップロードするのに3分でした。 – nicq

私はこのboto3関数[boto3.s3.transfer]（http://boto3.readthedocs.io/en/latest/_modules/boto3/）を使っています。 s3/transfer.html）を使っていくつかのdbバックアップファイルをs3にアップロード（マルチパート転送）しましたが、私の場合はまずファイルを圧縮しなければなりませんでした。これが役立つことを願っています。 – Gigapalmer

S3：多数のファイルをアップロードする方法

答えて

関連する問題