2
私はPubSubに関するトピックを持っています。トピックから読み取るデータフロー上のパイプラインを作成して、メッセージデータに従ってそれらを分類し、さらに属性キー値のペアを読み取る必要があります。 PubSubIOの読み取りトランスフォームを使用してPCollectionに変換した後で、メッセージと属性を区別する方法はありますか?メッセージとオプション属性をPubSubIOからどのように取得しますか?
私はPubSubに関するトピックを持っています。トピックから読み取るデータフロー上のパイプラインを作成して、メッセージデータに従ってそれらを分類し、さらに属性キー値のペアを読み取る必要があります。 PubSubIOの読み取りトランスフォームを使用してPCollectionに変換した後で、メッセージと属性を区別する方法はありますか?メッセージとオプション属性をPubSubIOからどのように取得しますか?
残念ながら、DataflowのPubsubIO APIは現在、Pubsubメッセージのメタデータと属性を処理していません。私は簡単な回避策は考えられません。
これは、間もなく改善する予定のものです。この作品はBEAM-53として追跡されます。最新のステータスを確認してください。
ありがとうございます。それはかなり役に立ちました。 – alpheus
最新のApache Beam PubSub IOでは、getAttributeMapとgetAttributeを使用してメッセージの属性リストを取得できます。 https://beam.apache.org/documentation/sdks/javadoc/0.6.0/org/apache/beam/sdk/io/PubsubIO.PubsubMessage.html#getAttribute-java.lang.String- –