データフローでlargz gzippedファイルを効果的に処理するにはどうすればよいですか？

Question

私たちは〜10GBのzip圧縮された〜30GBの圧縮されたgzipファイルを処理するsomバッチジョブを持っています。

これを処理しようとすると、Javaで不当な時間がかかり、より効果的な方法を探しています。 TextIOまたはgcsのネイティブjava sdkを使用してファイルをダウンロードすると、処理に8時間以上かかるため、何らかの理由でutをスケールアウトすることができます。おそらく、gzipされているのでファイルを分割しません。

ファイルを解凍して解凍したファイルを処理すると、ジョブは約10分かかるため、100倍の速さで処理されます。

gzippedファイルを処理するには余分な時間がかかることがありますが、100倍は長すぎます。

Answer 1

gzippedファイルは分割可能ではないので、Dataflowはgzip形式の各入力ファイルの読み込みをパラレル化する方法がありません。可能であれば、GCSに非圧縮形式で保存するのが最善の方法です。

100倍のパフォーマンスの違いについて：パイプラインの圧縮されていないバージョンと圧縮されていないバージョンでは、パイプラインの作業者のVMはいくつでしたか？もしあなたが仕事のIDを持っていれば、私たちはそれをさらに調査するために内部的に調べることができます。