kafka(バージョン0.10)コンシューマがコンシューマグループに再結合しようとすると、デフォルトの動作とは何ですか? 私は消費者グループのために単一の消費者を使用していますが、再会時に殴られたようです。 各10分後にコンシューマーログに次の行が出力されます。カフカ消費者が(再)結合グループに入った
2016年8月11日13:54:53803 **** []グループ画像消費者グループのための
以前に割り当てられたパーティションを取り消すINFO oakcciConsumerCoordinator [プール-5-スレッド-1] ****2016年8月11日13:54:53803 INFO oakcciAbstractCoordinator [プール-5-スレッド-1] (再)参加グループ画像コンシューマ群
2016年8月11日14 :04:53,992 INFO oakcciAbstractCoordinator [pool-5-thread-1]グループimage-consumer-groupのコーディネータをマークしました
2016-08-11 14:04:54,095情報o.a.k.c.c.i.AbstractCoordinator [pool-5-thread-1]グループimage-consumer-groupの検出されたコーディネーター。
2016年8月11日14:04:54096 INFO oakcciAbstractCoordinator [プール-5-スレッド-1] (再)参加グループ画像コンシューマ群
再始動コンシューマアプリケーション助けにはならない。
session.timeout.msを非常に大きな値に設定して複雑な長期実行パイプラインを完成させた後、まったく同じ問題に直面しています。あなたはこれに任意の解決策を見つけましたか? – Deeps
はい、1.いくつかのレコード数を取得した後、消費者にpauseを呼び出さなければなりません。 2.ループの中でpoll(0)を呼び出すことによって、カフカにハートビートを繰り返し送信したバックグラウンドスレッドを作成します。一方、あなたの主要な消費者スレッドは処理しています。 3.処理後、バックグラウンドスレッドをメインコンシューマスレッド4から停止するように指示します。これで、トピックパーティションでレジュームを呼び出すことができます。 –