kafkaコンシューマグループのトピックを更新する方法を効率的に実装する方法

Question

複数のカフカトピックの情報を処理する「警告」アプリケーションを作成しようとしています。何千ものトピックが存在しますが、アラート設定に基づいて、現時点では何百もの処理が必要です。トピックリストを「定期購読」で継続的に更新すると、リバランスの遅延によってアラートが遅れることがあります。

絶え間なく変化するトピックに登録している消費者グループを効率的に実装するにはどうすればよいですか？

Answer 1

私は、今日この回答は、購読の代わりにassign（）を使用して、必要に応じて未使用のものをすべて削除する新しいトピックパーティションを手動で追加すると言います。一歩踏み込んで話題の数が静的であり、キーで監視するものを特定するのがより理にかなっているかどうかを尋ねることは役に立ちますが、それはあなたの人生を楽にするかもしれません。