カフカ消費者がバッチでデータを取得する必要があります

Question

カフカバッチ消費者を検索したところ、貴重な情報はありませんでした。

ユースケース：

プロデューサーは非常に頻繁にデータを生成し、消費者のサイトで、私たちはデータを消費し、消費者&から我々が投稿できるデータの限界を持っているFacebookやGoogleにデータを掲載します。

他のAPIがコンシューマのデータを消費するまで、特定の時間にデータを消費するようにコンシューマを一時停止することができるかどうかを教えてください。

注：これは簡単に嵐で達成できますが、私はこの解決策を探していません。カフカでバイトサイズを設定することもできますが、それはその目的には役立ちません。

オプション＃1：ワーカースレッドプールが消費するブロッキングキューにメッセージをオフにするすべてのデータの消費量と手を取り扱う1つの消費者のスレッドを採用

Answer 1

あなたがこれを行うことができますカップルの方法があります。投与すると、作業者のプロセスと消費者を容易に拡大することができます。しかし、オフセットコミットの管理はこのケースでは少し難しくなります。

オプション＃2：KafkaConsumer.pause（）およびKafkaConsumer.resume（）メソッドを呼び出して、特定のパーティションからのフェッチを一時停止および再開するだけで、独自のロジックを実装できます。