2016-03-22 17 views
2

私はPubSubに関するトピックを持っています。トピックから読み取るデータフロー上のパイプラインを作成して、メッセージデータに従ってそれらを分類し、さらに属性キー値のペアを読み取る必要があります。 PubSubIOの読み取りトランスフォームを使用してPCollectionに変換した後で、メッセージと属性を区別する方法はありますか?メッセージとオプション属性をPubSubIOからどのように取得しますか?

答えて

1

残念ながら、DataflowのPubsubIO APIは現在、Pubsubメッセージのメタデータと属性を処理していません。私は簡単な回避策は考えられません。

これは、間もなく改善する予定のものです。この作品はBEAM-53として追跡されます。最新のステータスを確認してください。

+0

ありがとうございます。それはかなり役に立ちました。 – alpheus

+1

最新のApache Beam PubSub IOでは、getAttributeMapとgetAttributeを使用してメッセージの属性リストを取得できます。 https://beam.apache.org/documentation/sdks/javadoc/0.6.0/org/apache/beam/sdk/io/PubsubIO.PubsubMessage.html#getAttribute-java.lang.String- –

関連する問題