spark 2.0.2 ClassNotFoundException：org.apache.kafka.clients.consumer.Consumer

Question

以下は私のpom.xmlです。私はmaven shadeで瓶を作る。 org.apache.kafka.clients.consumer.Consumerが私のuber jarに含まれていることは確信しています。また、kafka-clients-0.10.1.0.jarをspark.driver.extraLibraryPathのスパークに入れました。また、spark-submitコマンドに--jarsオプションを追加しようとしました。しかし、私はまだclassNotFoundExceptionを取得します。

<dependencies> 
      <dependency> 
       <groupId>org.scala-lang</groupId> 
       <artifactId>scala-reflect</artifactId> 
       <version>2.11.8</version> 
      </dependency> 
      <dependency> 
       <groupId>org.apache.spark</groupId> 
       <artifactId>spark-core_2.11</artifactId> 
       <version>2.0.2</version> 
      </dependency> 
      <dependency> 
       <groupId>org.apache.spark</groupId> 
       <artifactId>spark-streaming_2.11</artifactId> 
       <version>2.0.2</version> 
      </dependency> 
      <dependency> 
       <groupId>org.apache.spark</groupId> 
       <artifactId>spark-streaming-kafka-0-10_2.11</artifactId> 
       <version>2.0.2</version> 
      </dependency> 
      <dependency> 
       <groupId>org.apache.kafka</groupId> 
       <artifactId>kafka_2.11</artifactId> 
       <version>0.10.1.0</version> 
      </dependency> 
      <dependency> 
       <groupId>junit</groupId> 
       <artifactId>junit</artifactId> 
       <version>3.8.1</version> 
       <scope>test</scope> 
      </dependency> 
     </dependencies> 

Answer 1

私はちょうどバイパス解決策を見つけます。 jarをSPARK_HOME/jarsに追加します。 spark-submitコマンドを使用します。 add -jars、 - driver-library-pathを試してみてください。私はオプションが親切になると確信しています。しかし、まだclassNotFound。 以下のように、ドライバログに基づいてバイパスソリューションを見つけました。

enter image description here