python storage googleクライアントから1GB +ファイルをアップロードできません

Question

こんにちは、Googleのクラウドストレージ〜= 1.6.0クライアントを使用して、2GBのGoogleストレージ形式kubernetesをアップロードすることができません。

client = storage.Client() 
    self.bucket = client.get_bucket('test-bucket') 
    blob = self.bucket.blob(remote_file) 
    blob.upload_from_filename(local_file) 

私はそれを解決するかもしれないと思って（最大4GB +）ポッドに多くのメモリを与えたが、マスターはどのような方法（OOMKilled）それを殺す、私はアップロードプロセスでいくつかの設定をしないのですね。

Answer 1

デフォルト動作のupload_from_filenameは、すべてのファイルをメモリに読み込んで一度にアップロードすることです。これを避けるには、blob.upload_from_filenameを呼び出す前にblob.chunk_sizeに設定してください。感知できる値は1MiB（1024 * 1024）です。

私はこれが新しい問題introduced by this commitかもしれないと思う。