Spark 2.1.0エラー - kafka.cluster.BrokerEndPointをkafka.cluster.Brokerにキャストすることができません。

Question

これは、これが依存関係/バージョンの問題であることを示すいくつかの他の質問があります。 kafka.cluster.BrokerEndPoint cannot be cast to kafka.cluster.Broker

しかし、自分の依存関係に何が問題なのかは分かりません。私の仕事の瓶で依存関係が、私は​​経由で実行しようとしているように私には、Spark 2.1.0、および

org.apache.spark.spark-core_2.11 
org.apache.spark.spark-sql_2.11 
org.apache.spark.spark-streaming-kafka-0-8_2.11 
org.apache.spark.spark-streaming_2.11 

を使用しています。私はKafkaサーバーのブローカーバージョンが0.8で、これらのDepedenceがすべて2.1.0に設定されていることを知っています。これらの依存関係はすべて互換性があると思われるので、私はどこにエラーがあるのか​​分かりません。

編集：私は私が、指定された依存関係になると私は​​を呼び出すときにそれを渡すためにspark-streaming-kafka-0-8_2.11を変更した場合、それが動作することを発見しました。私はなぜこれが、そしてなぜ私は他のものと一緒にメインジャーにそれを束ねることができないのか分かりません。

Answer 1

ランタイムクラスパスのどこかに、読み込まれている可能性のあるカフカジャーがないことを確認してください。