Kafkaのトピックに送信されたメッセージの事前検証

Question

Kafkaトピックに送信されているメッセージの検証/フィルタリングは可能ですか？

同様に、有効なクライアント/プロデューサのみが自分のトピックにメッセージを送信するようにしたいと思います。特定のパラメータ/基準に基づいて無効なメッセージを破棄することで、消費者側で検証を確実に実行できます。しかし、メッセージがトピックに書き込まれる前にそれをやりたいのであれば、どうしたらいいでしょう。

Kafkaは、メッセージを受信し、検証を実行し、それに応じてそのメッセージを破棄またはトピックに書き込む必要があるかどうかを判断します。これは可能ですか？

おかげ

Answer 1

短い答え - カフカの現在のバージョンは、箱から出して、そのような機能をサポートしていません。また、カフカのプロデューサは、単一セッション中に複数のブローカと通信するように設計されているため、そのようなアドホックフィルタリングを実装する簡単な方法はありません。合理的な選択肢のカップルが残っている、と述べ考える が存在します。

1. 使用2トピック：1「公共」トピックは、すべてのメッセージを許可するすべての人に開かれた、となります別の非公共の「フィルタ」トピックフィルタリングルールを適用した後、 "public"のデータをあなた自身のアプリケーションで作成します。
2. あなたは絶対にカフカ