Kafka Streaming with apache spark

Question

ローカルマシンにapache kafkaを設定して正常に動作しました。プロデューサにメッセージを投稿するとすぐにコンシューマプロンプトが表示されます。

ローカルフォルダから連続ファイルストリームを設定することはできますか？どうやってやるの ？

私のプロデューサを設定するJavaアプリケーションを作成できますか？

Answer 1

私はそれができる2つの方法しか知りません。

1）カフカプロデューサーとカフカコンシューマーを作成します。これらのプロデューサとコンシューマは、Java、C、Pythonなどの異なる言語で実装することもできます。メッセージプロデューサ/消費者のためのカフカのAPI•

単純なJavaベースのカフカの生産者/消費者•

2）は、Javaでデータジェネレータコードを書くか、あなたが好むあらゆる言語やフォルダ内のデータファイルを格納し、 Kafka BrokerにデータをロードするKafka In build/APIコマンドを含むシェルスクリプトを作成し、必要なときにそれを消費することができます。

以下はシェルスクリプトの例です。

##################################################################### 
############################# COMPLETE SCRIPT ##################### 
### HEADER - PROGRAM NAME - <Kafkaload.sh> 

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 4 --topic topicname 

for i in $(seq 60) 
do 
echo $i 
DATE=$(date +"%Y-%m-%d %H-%M-%S") 
echo $DATE 
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic topicname < /home/bhavesh/Fireclickdata$i.txt 
done 

echo done 

この例では、このヘルプ・ホープ

カフカ

に私のデータ・ジェネレータ・コードによって生成されたすべての私のファイルをロードします!!! ...私のローカルフォルダから「連続ファイルストリームを何