なぜNifi consumerKafka_0_10プロセッサは、フローファイル全体のフローファイルよりも小さいフローファイルを受け取りますか？

Question

私は、カフカクラスターからフローファイルを受け取るために1つのプロデューサー（PublishKafka_0_10プロセッサー）と1つのコンシューマー（ConsumerKafka_0_10プロセッサー）を持っています。

Nifi UIの管理者によると、プロデューサの合計は7個ですが、コンシューマはわずか4個のパッケージしか受け取りません。私はkafka_console_consumer.shを使ってプロデューサーからパッケージを見て、7つのパッケージ全体を表示します。

なぜ私はconsumerKafka_0_10プロセッサから3つのパッケージを失ったのか分かりません。

3つのノードを持つkafkaクラスタと3つのノードを持つnifiクラスタも使用します。最新の

Answer 1

チェックする物事のカップル...

ConsumeKafkaプロセッサのデフォルトは、あなたがそれを最初に実行したときにオフセットので、あなたは、いくつかのメッセージが得たことを最初PublishKafkaを起動し、ConsumeKafka、その可能ていた場合消費者はメッセージ4のオフセットから開始します。

また、ConsumeKafkaにメッセージデマーケーターがあるかどうか確認してください。そうする場合、複数のメッセージをフローファイルに配置します。