ローカルマシンから直接1GBのファイルをKafkaプロデューサにロード

Question

プロデューサからプロデューサへのランダムメッセージをコマンドラインで公開する基本的な例を試してみました。 ローカルマシンに存在するすべての1GBのデータを公開します。そのために、私はその1GBのデータをプロデューサーにロードするのに苦労しています。

お願いします。

Answer 1

あなたは、単にカフカのトピックに簡単にリダイレクトしてファイルをダンプすることができます。 1.xmlが1GBファイルであると仮定すると、以下のコマンドを使用することができます。

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test123 < ./1.xml 

1. しかし、あなたはプロデューサーのXMLで次のプロパティを設定していることを確認してください。 socket.request.max.bytes,socket.receive.buffer.bytes,socket.send.buffer.bytes。
2. あなたのメッセージサイズが大きい場合は、test123トピックのためにmax.message.bytesを設定する必要があります。
3. メモリ不足の問題を避けるため、Xmxパラメータもconsole-producer.shに変更してください。

これらは、カフカのデータをロードするための一般的な手順です。 エラーが発生した場合は、さらに理解できます。

だからアプローチのカップルが助けることができる： 1）あなたは、このようなユースケースのために構築されている水路のようなビッグデータ・プラットフォームを使用することができます。 2）あなたはあなた自身のコードを実装したい場合は、新しいファイルをフォルダ（Capture events happening inside a directory）で、あなたは、あなたがデータを公開するコードを呼び出すことができたら到着したときにイベントをキャプチャして、あなたを助けるたApacheのコモンズのLibを使用することができますカフカで 3）私たちのプロジェクトでは、Logstash APIを使ってフォルダからフェッチし、ファイルからkafkaにデータを公開し、Stormで処理します。