このgsutilの「並列合成アップロード」に関する警告はどうすればよいですか？

Question

私はPythonスクリプトを実行しており、osライブラリを使用してgsutilコマンドを実行しています。これは通常、Windowsのコマンドプロンプトで実行されます。私は自分のローカルコンピュータ上のいくつかのファイルがあると私はGoogle Bucketに入れたいので、私は：

==>注：

輸入OS

command = 'gsutil -m cp myfile.csv gs://my/bucket/myfile.csv' 
os.system(command) 

を私のようなメッセージが表示されます：1つまたは複数の大きなファイルをアップロードしていますが、パラレルコンポジットアップロードを有効にすると大幅に高速に実行されます。この 機能は、 設定ファイルの "parallel_composite_upload_threshold"値を編集することで有効にすることができます。ただし、大容量のファイルを としてアップロードすると、複合オブジェクト https://cloud.google.com/storage/docs/composite-objects 'がアップロードされます。 は、このようなオブジェクトをダウンロードするユーザーには コンパイル済みcrcmodがインストールされている必要があります（「gsutil help crcmod」を参照）。 。これは、 コンパイルされたcrcmodがないため、コンポジットオブジェクトのチェックサムを計算すると となり、gsutilはコンポジットオブジェクトのダウンロードを無効にします。

私は、実際には何を示唆しているかは関係ありませんが、このファイルを隠すか、.botoファイルが見つかりません。私は何をすべきか？これを行うには

gsutil -o GSUtil:parallel_composite_upload_threshold=150M cp bigfile gs://your-bucket 

：

Answer 1

gsutilのドキュメントのParallel Composite Uploadsセクションでは、（このコンテンツは利用可能crcmodモジュールとクライアントによって使用されることを、警告指定として、想定して）これを解決する方法について説明します安全のPythonから次のようになります。あなたが明示的に引数ベクトルの境界を提供し、あなたのためにこれを行うには、シェルに頼っていない、ここで

filename='myfile.csv' 
gs_bucket='my/bucket' 
parallel_threshold='150M' # minimum size for parallel upload; 0 to disable 

subprocess.check_call([ 
    'gsutil', 
    '-o', 'GSUtil:parallel_composite_upload_threshold=%s' % (parallel_threshold,), 
    'cp', filename, 'gs://%s/%s' % (gs_bucket, filename) 
]) 

注意。これは、悪意のあるファイルやバグの多いファイル名が望ましくない操作を行うのを防ぎます。

---

あなたはこのバケット内のコンテンツにアクセスするクライアントは、このサポートを無効になる、上記parallel_threshold='0'を設定することを検討して、crcmodモジュールを持っていることがわからない場合。