gzipで圧縮されたファイルをGCSで解凍した最も効果的な方法は何ですか？

Question

gcsには多くのgzippedファイルがあります。データフロージョブを高速化するために、ファイルの解凍コピーを作成したいと考えています。データフローTextIOは、圧縮ファイルでは高速ではありません。

私は、gcsでファイルの解凍されたコピーを作るのが最も効果的な方法を理解しようとしています。

私はちょうど簡単なダウンロードプログラムを書こうと思っていましたが、私はgsutilと同じパフォーマンスを得ることができません。

この質問に対する答えは、gcsからファイルをスーパーユーザー、簡単にダウンロードする方法、gcs上でファイルをコピーして解凍する方法の例です。

Answer 1

GCSからobject change notificationsを処理するApp EngineまたはCompute Engineアプリケーションを実装して、新しくアップロードしたgzipファイルを検出し、対応する解凍済みファイルをGCSに読み書きすることができます。これはおそらく、社内ネットワークにダウンロードして再アップロード（インターネット接続の速度にもよりますが）より速いでしょう。