Google Cloud Dataflow（Apache Beam） - ヘッダー付きのgzip形式のcsvファイルの処理方法

Question

GCSにcsv（gzip圧縮）ファイルがあります。私はこれらのファイルを読んで、BigQueryにデータを送信したいと思います。

ヘッダー情報は変更できます（ただし、すべての列は事前にわかっています）。ヘッダーを削除するだけでは不十分です。最初の行を読み込み、残りの行に列情報を追加する必要があります。

どうすれば可能ですか？

まず、この記事のようなカスタムソースを実装する必要があると思います。
Reading CSV header with Dataflow
しかし、このソリューションでは、まずGzipをどのように圧縮解除できるかわかりません。どういうわけかをTextIOのように使用できますか？ （私はパラメータcompression_typein a python Classを見つけましたが、私は、Javaを使用していますし、Java FileBasedSourceクラスに似たものを見つけることができませんでした。）

それはファイルが分割不可能になるので、私の場合には、それはありますが、また、私は（これにビットoverkillingを感じますはい）。

GoogleCloudStorageを使用して、ファイルとその最初の行を私のmain()ファンクションの最初の場所で直接読み取ってから、パイプラインに進むことができます。

データフローのヘッダーを利用している間にCSVファイルを読み取るためのベストプラクティス（データフロー方法）があるかどうかを確認したいのですが？

Answer 1

あなたが正しく達成しようとしていることを理解していれば、ここでは、SideInput（、example）の回答が考えられます。これにより、ファイルの行ごとにヘッダを処理できるようになります。

一般的な考え方は、ヘッダーを個別のPCollectionViewとして発行し、これをサイドライン処理としてSideInputとして使用することです。 SideOutput（doc）

質問を正しく読んでいると、ヘッダーの内容がファイルごとに異なるように聞こえることがあります。その場合は、View.asMapを使用して、各ファイルのヘッダーのマップを保持できます。残念ながら、現在読み込まれているファイル名を追跡することは、現在のところサポートされていませんが、this postで説明されている作業領域があります。