圧縮ファイルを1つずつ読み取る

Question

N個のファイルを含むzipがあるとします。 Dataflowを使用して各ファイルを1つずつ処理します。これは可能ですか？

zip内の各ファイルを処理し、その中のデータをBigQueryテーブルにダンプする必要があります。したがって、各ファイルは別々のBigQueryテーブルにダンプされます。

Dataflowを使用してzipファイルを読み込もうとしましたが、一度にすべてを読み込みました。私は、ジッパー内のさまざまなファイルを区別することができなければなりません。

はあなたが

Answer 1

私はあなたがファイルや出力タプルを（ファイル名、ZIPファイル）のペア、または（オフセット、zipファイル）ペアのカタログを読むために1 DoFnを書くことができると思いますありがとうございました。次に、下流のステップでは、別のワーカーに分割されたペアが受信され、zipから別々のファイルを並行して読み込むことができます。

私は、（1）ファイルをzipにリストし、（2）解凍する特定のファイルを解凍するAPIがあると仮定します。うまくいけば、このアプローチがうまくいくでしょう。