バッチを使用してDataFlowでPubSubから読み取る方法

Question

PubsubソースのSDK 1.9.1にはPubsubIO.Read.maxReadTimeとPubsubIO.Read.maxNumRecordsのメソッドがあります。これらのメソッドは、pubsubメッセージからバインドされたコレクションを作成することを許可し、バッチモードでDataflowパイプラインを開始することができました。

Dataflow SDK 2.1を使用して、どのようにsimillarのことを達成できましたか？バッチモードを使用してデータフローパイプラインのPubsubからどのように読み込むことができますか？

Answer 1

残念ながら、私はSDKの新しいバージョンではそれをサポートしていませんでした。私がしたのは、のmaxReadTimeまたはmaxNumRecordsのPubSubから読み込んだDoFnを実装してメッセージを返すことでした。

これは、SDKの以前のバージョンで行ったことでした。 PubsubReaderクラスを確認できます。あなたはこのようにそれを呼び出す必要があります

：

pipeline.begin() 
      .apply(Create.of((Void) null)).setCoder(VoidCoder.of()) 
      .apply(ParDo. of(new MyPubsubReader(maxNumRecords, maxReadTime)); 
      .setCoder(coder);