Google Cloud Dataflow TextIO .gzファイルに書き込みますか？

Question

Googleのデータフロージョブを通じてGCSで圧縮ファイルを作成するにはどうすればよいですか？

圧縮タイプを指定できません。この機能がまだ存在しない場合は、Google BigQueryのクエリから圧縮ファイルに出力するためのクリーンな方法がありますか？

Answer 1

TextIOを使用してファイルに書き込むことができます（組み込みのI/O変換の概要は、hereを参照してください）。

あなたがコード hereの例を見ることができます

：

PCollection<String> lines = ...; 
lines.apply(TextIO.write().to("/path/to/file.txt") 
    .withSuffix(".txt") 
    .withWritableByteChannelFactory(FileBasedSink.CompressionType.GZIP)); 

編集：あなたもGUIから直接、gzip圧縮されたファイルへのBigQueryからテーブルをエクスポートすることができます：