apache kafkaを使用してデータを生成し、スパークストリーミングを使用して受信します

apache Kafkaを使用してランダムデータを生成し、スパークストリーミングを使用してランダムデータを生成する方法を知りたいと思います。apache kafkaを使用してデータを生成し、スパークストリーミングを使用して受信します

のは、ユースケースをお見せしましょう：

私はこのようなランダムデータを生成したい - >（A、B、[email protected]）X秒ながら。そして、このデータをリアルタイムで（私が受け取っている間）処理するために受け取って、2番目のパラメータがBならば、次のメッセージで「[email protected]」にメールを送ります： "最初パラメータはA "です。

私は動物園のサーバーを起動し、次にカフカブローカーを開始し、次にトピックを作成し、次にプロデューサを作成してこのデータを送信する必要があることを知っています。 kafkaとストリーミングの接続を作成するには、 "createStream"関数を使用する必要があります。しかし、私はこのデータを送信するためにプロデューサーを使用する方法を知らず、それを処理するためにスパークストリーミングで受信します。これらはすべて、同じプログラム内で、Javaを使用しています。

助けが必要ですか？ありがとうございました。

出典

2016-04-25 Mohamed Said Benmousa

googleです。次に、特定の問題がある場合はお知らせください。 – maasg

私はMatthias J. Saxに言ったのと同じことを書きます。今、私はメッセージ（A、B、[email protected]）を追加して、そのデータリンクを生成するためのプロデューサプログラムを持っています。私はスパークプログラムをここにリンクしています。そして、内部で、データを読んで、2番目のパラメータがBならばメールを送信して処理したいと思っています。私はこれに慣れていませんが、試しています。これをテストするには、kafka（zkを含む）を起動しなければなりません。カフカの書き出しのプロデューサプログラムを開始するファイルが1つ（メインクラス）必要です。スパークの場合は、プログラムを提出するだけでいいですか？ありがとうございました！ –

単一のプログラムではなく、カフカプロデューサプログラムとスパークプログラムがあります。両方の場合は、入手可能な例のカップルは例えば、オンラインがあります。

はこれを実行するには、（ZKを含む）カフカとあなたのスパーククラスタを起動します。その後、あなたはKafkaに書き込むプロデューサープログラムを開始し、Kafkaから読んだ仕事をスパークさせます（プロデューサーとスパークの仕事を始める順序は関係ありません）。 "kafka producer java example"については

出典

2016-04-25 22:33:14

よろしくお願いいたします。今、私はそのデータ（A、B、[email protected]）を追加して、そのデータを生成するためのプロデューサプログラムを持っています[リンク]（http://pastebin.com/6akCmvBh）。私はスパークプログラムをここに持っています（リンク先はhttp://pastebin.com/jadMReE9）。そして、私はデータを読んで、2番目のパラメータがBならばメールを送信したいと思っています。これが、私はそれを試しています。これをテストするには、kafka（zkを含む）を起動しなければなりません。カフカの書き出しのプロデューサプログラムを開始するファイルが1つ（メインクラス）必要です。スパークの場合は、プログラムを提出するだけでいいですか？ありがとうございました。 –

私はあなたのコードを見ていないが、あなたが書いたものは正しいと思う。 –

さて、私はそれを試みます。私が今必要とするのは、電子メールを送信するためにストリーミングされたデータを処理する方法を知ることだけです。同様のことをする例は見つけられません。 –

apache kafkaを使用してデータを生成し、スパークストリーミングを使用して受信します

答えて

関連する問題