これは私たちの開発環境である方法は、(0.10版)エラーを投げている購読はカフカからカフカ(バージョン0.90)にアクセスしようとしているときに
1)カフカクラスタ - 0.9を持っている1.6 - バージョンは0.10 2)スパーククラスタですKafkaジャー
スパーククラスタモードでは()とconsume()を試行しています。 (spark-submitを介して)
spark-submitジョブを実行している間、sparkは0.9バージョンのkafkaを選択します。ファイン(0.9 APIを動作し、0.10 APIのプロデューサーに互換性がある) 2)ストリーミングカフカ消費者KafkaUtilsを使用して - - 正常に動作します(0.9こちらも思えるAPIおよび0.10 APIプロデューサーに互換性がある) 次は我々の観察
1)プロデューサーであります3)subscribe()APIを使用するコンシューマ - 次のメッセージでエラーが発生します。誰かがなぜそれが失敗しているのかを私たちに知らせることができますか?
16/10/24 02:31:08 ERROR yarn.ApplicationMaster: User class threw exception: java.lang.NoSuchMethodError: org.apache.kafka.clients.consumer.KafkaConsumer.subscribe(Ljava/util/Collection;)V java.lang.NoSuchMethodError: org.apache.kafka.clients.consumer.KafkaConsumer.subscribe(Ljava/util/Collection;)V at com.common.kafka.init(Kafkafunction.java:150) at com.client.Client.main(Client.java:100) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:606) at org.apache.spark.deploy.yarn.ApplicationMaster$$anon$2.run(ApplicationMaster.scala:542) 16/10/24 02:31:08 INFO yarn.ApplicationMaster: Final app status: FAILED, exitCode: 15, (reason: User class threw exception: java.lang.NoSuchMethodError: org.apache.kafka.clients.consumer.KafkaConsumer.subscribe(Ljava/util/Collection;)V)