Dataflow（Java SDK）を使用してGoogle Cloud PubSubからデータを解凍する方法

クラウドpubsubから圧縮データ（bzip）をストリーミングするデータフローパイプラインがあります。データを解凍する方法を提案するのに役立つことができます。Dataflow（Java SDK）を使用してGoogle Cloud PubSubからデータを解凍する方法

出典

2017-10-23 Vaibhav Kapur

パイプラインにbzip2圧縮解除用の通常のJavaライブラリを使用するDoFnを作成できないようなものはありますか？ https://commons.apache.org/proper/commons-compress/？ – jkff

Beamに基づく新しいバージョンのDataflowには、[PubsubMessage]（https://beam.apache.org/documentation/sdks/javadoc/2.1.0/org/apache/beam/sdk/io/gcp/）があります。 pubsub/PubsubMessage.html）クラスで、ペイロードを 'byte []'として利用できるようにします。これは、バイト配列を解凍するために標準の解凍ライブラリと一緒に使用できます。 –

@BenChambers：提案をいただきありがとうございます。私はPubsubMessageクラスを使って実装し、望ましい結果を得ました。 –

Beamに基づく新しいバージョンのDataflowには、PubsubMessageクラスがあり、ペイロードをbyte []として利用できます。これはDoFnの中でアクセスでき、commons-compressのような標準の解凍ライブラリに渡され、解凍された結果が出力されます。

出典

2017-10-24 18:31:36

Dataflow（Java SDK）を使用してGoogle Cloud PubSubからデータを解凍する方法

答えて

関連する問題