0
kafkaで動作する簡単なSparkストリーミングアプリがあります（配布に付属している基本設定のように、自分のマシンにデプロイします）。私がsparkstreamingアプリケーションをスタンドアロンサーバ上で実行しているとき、私のマシン上のマスターとワーカーと、それでカフカと同じマシンがすべて正常です。スパークストリーミングKafkaとワーカーが別のマシンにいるときに動作しない
しかし、別のノード/ワーカーを追加するとすぐに、または単に私の2番目のマシン（カフカではない）でワーカーを開始するだけであれば、何も起こりません。ストリーミングタブが消えます。しかし、私はドライバーの標準エラーや、Uiの作業者にエラーは見られません。
エラーはありません。どこから見ているのか分かりません。アプリケーションは動作しません。
誰かがこの種のことを経験したことがあるなら、いくつかの提案をお聞かせください。
私は、この動作はカフカ広告を出しているホストの設定ミスでしまう可能性問題
I同様の問題に遭遇したことを覚えているようだが、問題は第2のマシンがカフカノードのアドレスを正しく解決しなかったことである。カフカは第2のマシンから届かないアドレスで広告しました）。それを診断するために、Sparkで使用しているアドレスとKafkaブローカーで設定されているアドバタイズされたアドレスを確認してください。 – nivox
コマンドラインのように、私のブローカがデフォルト設定していることを知る方法があるかどうか知っていますか？ Kafkaのドキュメント（http://kafka.apache.org/090/documentation.html）の – MaatDeamon
は、 'java.net.InetAddress.getCanonicalHostName（）'が返すものを使用しています。ブローカの設定で 'advertised.host.name'というプロパティを指定することをお勧めします。 – nivox