3
以下のkafkaコンソールプロデューサーコマンドを使用して、ファイルの内容をkafkaプロデューサーに渡します。Kafkaコンソールプロデューサーがメッセージを失う
sh ~/KAFKA_HOME/bin/kafka-console-producer.sh --broker-list xxx:9092,yyy:9092,zzz:9092 --topic HistLoad --new-producer < data.csv
Data.csvファイルには約70万レコードがあります。私は、消費者の出力で約699,800メッセージしか受け取らない。
私はコンシューマ用のオフセットカウンタをチェックし、そのオフセット値に基づいて、そのキュー内に699,800個のメッセージだけがあることを確認しました。
メッセージを失うというこの問題の原因を突き止めるのに役立つでしょうか。何が根本的な原因を調べるためにチェックする必要がありますか？
data.csvの行数はいくつですか？私の経験では、カフカは各行を新しいメッセージとして解釈します。あなたは700,000〜70万を期待していますか？ – pjames
@pjames約700,000のメッセージがあります。つまり、ファイル内の各行はメッセージです –