KAFKA STREAMSが殺されたときに処理され、コミットされなかったメッセージを読むことを避けるために、キーと値とともに各メッセージのオフセットを取得して、どこかに保存して使用できるようにしたい既に処理されたメッセージの再処理を避けます。カフカストリームで消費されるメッセージごとにオフセットを取得する方法はありますか?
答えて
はい、可能です。 FAQの項目http://docs.confluent.io/current/streams/faq.html#accessing-record-metadata-such-as-topic-partition-and-offset-informationを参照してください。そのような話題、パーティションとして
へのアクセス記録のメタデータ、および情報をオフセット:
は、私は、以下のキー情報をコピー&ペーストうか?
レコードメタデータはProcessor APIからアクセスできます。 Processor API integrationのおかげで、DSLによって間接的にアクセスすることもできます。
プロセッサAPIでは、
ProcessorContext
からレコードメタデータにアクセスできます。Processor#init()
の間にプロセッサの インスタンスフィールドにコンテキストの参照を格納してから、内のプロセッサのコンテキストを問い合わせる 、たとえば (Transformer
と同じ)をクエリできます。現在処理されているレコードが に一致するようにコンテキストが自動的に更新されます。つまり、のようなメソッド は常に最新の レコードのメタデータを返します。プロセッサ のコンテキストをpunctuate()
に呼び出すときには、いくつかの注意事項が適用されます。詳細については、Javadocsを参照してください。カスタム
Transformer
と組み合わせるDSLを使用する場合は、例えば、 あなたもパーティション を含めるとメタデータを相殺するために入力レコードの値を変えることができ、そのようなmap
やfilter
として、その後のDSL操作は、この情報を活用することができ。
- 1. Android:アクティビティごとに消費された時間を取得
- 2. はIカフカストリームの最新の消費者の自動オフセット・リセットを変更することができますか?
- 3. グループごとに1人の消費者にメッセージが配信されますか?
- 4. RabbitMQ STOMPが以前にACKするまでメッセージの消費を停止する方法はありますか?
- 5. Kafka 0.9 KafkaConsumerでオフセットを手動でコミットするときにメッセージを再消費する方法
- 6. Android用の瞬時消費電力を得る方法はありますか?
- 7. BizTalk Singleton - 消費されたメッセージを繰り返しますか?
- 8. カフカ消費者を特定のオフセットで止める方法はありますか?
- 9. コンパクトトピック:ログクリーナーとオフセット消費
- 10. 消費者グループとトピックの関係を取得する方法
- 11. インスタンスごとにURLを取得する方法はありますか?
- 12. メッセージが2回消費される
- 13. シミュレータのiOSメモリ消費情報を取得する方法は?
- 14. 起動時にプロセスによって消費されるメモリを制限する方法はありますか?
- 15. icanが直接消費者グループにポーリングする方法はありますか
- 16. カフカ消費者がバッチでデータを取得する必要があります
- 17. djangoからメッセージを消費する
- 18. @RabbitListenerでメッセージの消費を停止する方法
- 19. バッチでメッセージを消費する - RabbitMQ
- 20. ローカルでホストされたrabbitmqメッセージを消費する
- 21. kafkaライブラリを使用して消費者オフセットの遅れを見つけるコードはありますか?
- 22. 消費者グループのすべての消費者はメッセージを受け取ります
- 23. Spring AMQPでスレッドを実装中にメッセージが消費される
- 24. のActiveMQ GETデキューまたは消費されるメッセージ
- 25. カフカストリームのフィルタリング:ブローカーまたは消費者側?
- 26. kafkaのプロデューサーから消費者にオブジェクトを消費する方法は?
- 27. プッシュされたSOAPメッセージを無期限に消費するサービスですか?
- 28. メッセージはゾーラスキューから消費されません。
- 29. 空のテーブルビューに表示されるメッセージをオフセットする方法
- 30. RabbitMQメッセージ保存と消費