Kafka：メッセージがまだ存在しない場合にのみ公開する

Question

私は多数の消費者が消費するメッセージをKafkaに公開しています。これらは等冪であるので、1つのメッセージが複数回消費されるかどうかは関係ありません。

ただし、パフォーマンス上の理由から、私の（単一の）プロデューサーが既にキューに存在するメッセージを公開することは望ましくありません。メッセージがID文字列であるとしましょう.2つのメッセージが等しいかどうかを確認するのは非常に簡単です。

私はカフカだけではこのようなパフォーマンスの向上に対処できないと考えています。この問題に対処するためのツールやコンセプトはありますか？

Answer 1

カフカは、干し草の針を探すことに沸騰するものにはあまり適していません。なぜなら、あなたができるのは線形検索だからです。

カフカでめったに配信されないことは、クエリのサポートがより優れた外部データストアを使用することで最も効果的です（ここでは、CassandraまたはElasticsearchは非常に多くのオプションのうちの2つです）。次に、作成したいメッセージがそのデータストアにある場合はプロデューサチェックがあり、そのデータストアにメッセージを書き込むことのみを目的としたトピックのコンシューマが存在します。サイズに基づいた保持と、異なるメッセージが同じキーを持つキーイングスキームがない場合、これはフェイルセーフでなければなりません。つまり、そうではないと考えることはできません。誤ってメッセージを書かないようにします。書きます。