Spark up with Kafkaを使用しようとしています。以前は、Sparkは正常に機能しましたが、この機能はありませんでした。私はそれが接続しようとし続けながらKafka瓶を追加した後、SparkがYARNリソースマネージャーに接続できません
INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032
INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 0 time(s);
retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
ジョブがハングアップを取得タスクを送信しようとすると、私は今、スパークのための私のjarファイルフォルダにspark-streaming-kafka-spark-streaming-kafka-0-8-assembly
jarファイルをインストールし、そして。私は、リソースマネージャのIPアドレスを指定し、糸-site.xmlのを持っている - 私は確かになぜか、どのように私はこれを防ぐことができないです - それは、だから、アドレスが上書きされているようです
<property>
<name>yarn.resourcemanager.address.rm1</name>
<value>my.Server.Name:8032</value>
</property>
を持っています。
更新:Jarフォルダの外にjarを移動し、その代わりに--jarsを含めると、ハングしません。しかし、直接カフカストリームを作成しようとすると、私はn error occurred while calling o28.createDirectStreamWithoutMessageHandler. : java.lang.NoClassDefFoundError: scala/collection/GenTraversableOnce
となります。これがバージョンミスマッチなのかどうか分かりません。
すべての依存関係が同じスカラーバージョンに対して追加されているかどうかを確認してください。 2.10または2.11のいずれか。 – RBanerjee
は完全なpomまたはbuild.sbtを提供します – RBanerjee