gsutil cpコマンドのパフォーマンスが低下しました

Question

Googleは、異なるファイルをGoogleストレージの別の場所にコピーするために実行するプロセスがほとんどない場合に、単一ファイルをGoogleストレージにコピーするコマンドを使用した方が優れています。その時の通常の速度は〜50mbpsでした。しかし、1つのファイルをGoogleストレージにコピーする "gsutil cp"プロセスが増加したため、最近の平均速度は〜10mbpsに低下しました。

コピーするファイルが1つしかないので、 "gsutil -m cp"コマンドではパフォーマンスが向上しないと考えられます。

多くの単一ファイルをコピーするためのgsutil cpプロセスの数が増えるに伴い、この低速に起因する原因は何か。何ができるのでしょうか？これらのプロセスの速度を向上させるには

Answer 1

gsutilは1つの大きなファイルを並行してアップロードできます。ファイルの一部をGCSに別のオブジェクトとしてアップロードしてから、GCSに後で一緒に作成してから個々のサブオブジェクトを削除するよう依頼します。

N.B.これは、オブジェクトをアップロードしてから直ちに削除するため、最近アップロードされたオブジェクトを削除するための追加料金が発生するため、ニアラインバケットでは使用しないでください。

gsutilがこの動作を超えるファイルサイズを設定できます。これを試してみてください：機能の

gsutil -o GSUtil:parallel_composite_upload_threshold=100M cp bigfile gs://your-bucket 

詳しいドキュメントはこちらです：https://cloud.google.com/storage/docs/gsutil/commands/cp#parallel-composite-uploads