2017-12-07 4 views
0

私はカスタムプロセスを持っているので、プロセッサapiを使用してカフカストリームを作成しようとしています。私はプロセッサが異なる数のパーティションを持つ複数のトピックにリスニングしていたときに問題に直面しました。私は、グローバルな状態ストアを作成する必要があることに気付きました。 プロセッサを追加する方法と、複数のトピックをリッスンしながらグローバルステートストアを追加する方法を知る必要がありますか?kafkaストリームプロセッサapiグローバル状態ストア複数のトピック

コード例やリンクが役立ちます。 ありがとうございました!

答えて

0

グローバル・ステート・ストアは、単一のトピックからのみ読み取ることができます。ただし、トピックごとに1つのグローバルストアを作成できます。また、グローバルストアはプロセッサに追加する必要はなく、すべてのプロセッサが自動的にアクセスできます。

私たちの例のレポは役立つはず:https://github.com/confluentinc/kafka-streams-examples

はまた、ドキュメントをチェックアウト:http://docs.confluent.io/current

+0

はありがとうございます。私は、私の状態ストアがパーティションの数が異なる複数のトピックを聴いていると思われるこのユースケースを持っています。私のプロセッサは共通パーティションからのメッセージのみで動作し、他のパーティションのメッセージは動作しません。処理される。私はこれが解決策ではないように見えるグローバルな状態ストアによってこれを達成することができると読んでいます。すべてのパーティションを同じものとして扱うために状態ストアを作成する他の解決策はありますか? – hims

+0

「プロキシ」トピックを作成し、まず異なるトピックのすべてのデータを読み込んで、このヘルパートピックに書き込むことができます。ヘルパーのトピックをあなたの店に送るのに使うよりも?プロキシトピックはログ保持時間を必要としないため、カフカで多くのストレージを消費する必要はありません。 –

+0

これは私が試すことができるものです。私はこれが私が達成したい他の多くの事を解決すると思う。ありがとうございました! – hims

関連する問題