2017-11-03 23 views
0

kafka 11を使用していて、ファイルからトピックに書き込もうとしています。kafka-console-producerファイルからの読み込みに失敗しました

私は

kafka-console-producer --broker-list my-bootstrap-url:9092 --topic my.test.messages < my_file.txt 

以下のコマンドを使用していますが、それは私がコンソールにメッセージを書く場合は、正常に動作するようですが、失敗したファイルから作成しようと

ERROR Error when sending message to topic my.test.messages with key: 
null, value: 2376 bytes with error: 
(org.apache.kafka.clients.producer.internals.ErrorLoggingCallback) 
org.apache.kafka.common.errors.TimeoutException: Batch containing 22 
record(s) expired due to timeout while requesting metadata from brokers 
for my.test.messages-0 

を返します。だから私はメッセージをパイプしているので、私はそれを推測しています。

これについての洞察はありますか?ドキュメントに与えられた例につき、明示的にstdinからのストリーミングをサポートしてkafkacat

+0

- カフカ0.9/0.10には、 'カフカ-コンソールproducer'がうまく働きました。それはあなたのクラスタで何か変わったように見えるので、バッチを送信するときにクラスタに関するメタデータを取得するのに時間がかかります。手動でデータを入力するときは、データを送信する前にメタデータを取得するように見えます –

答えて

3

チェック、、:奇妙だ

$ tail -f /var/log/syslog | kafkacat -b mybroker -t syslog -z snappy 
関連する問題