NoClassDefFoundError：spark-cassandra-connectorのorg/apache/spark/sql/DataFrame

Question

1.4から1.5へspark-cassandra-connectorをアップグレードしようとしています。

すべてが細かいようだが、私は、その後のテストケースを実行するとき、それは言って、プロセス間で立ち往生し、いくつかのエラーメッセージを記録：

<dependencies> 
    <dependency> 
     <groupId>junit</groupId> 
     <artifactId>junit</artifactId> 
     <version>3.8.1</version> 
     <scope>test</scope> 
    </dependency> 
    <!-- https://mvnrepository.com/artifact/com.datastax.spark/spark-cassandra-connector_2.10 --> 
<dependency> 
    <groupId>com.datastax.spark</groupId> 
    <artifactId>spark-cassandra-connector_2.10</artifactId> 
    <version>1.5.0</version> 
    </dependency> 
     <dependency> 
     <groupId>com.google.guava</groupId> 
     <artifactId>guava</artifactId> 
     <version>16.0.1</version> 
    </dependency> 
    <!-- Scala Library --> 
    <dependency> 
     <groupId>org.scala-lang</groupId> 
     <artifactId>scala-library</artifactId> 
     <version>2.10.5</version> 
    </dependency> 
    <!--Spark Cassandra Connector--> 
    <dependency> 
     <groupId>com.datastax.spark</groupId> 
     <artifactId>spark-cassandra-connector_2.10</artifactId> 
     <version>1.5.0</version> 
    </dependency> 
    <dependency> 
     <groupId>com.datastax.spark</groupId> 
     <artifactId>spark-cassandra-connector-java_2.10</artifactId> 
     <version>1.5.0</version> 
    </dependency> 
    <dependency> 
     <groupId>com.datastax.cassandra</groupId> 
     <artifactId>cassandra-driver-core</artifactId> 
     <version>3.0.2</version> 
    </dependency> 
    <!--Spark--> 
    <dependency> 
     <groupId>org.apache.spark</groupId> 
     <artifactId>spark-core_2.10</artifactId> 
     <version>1.5.0</version> 
     <exclusions> 
      <exclusion> 
      <groupId>net.java.dev.jets3t</groupId> 
      <artifactId>jets3t</artifactId> 
      </exclusion> 
     </exclusions> 
    </dependency> 
    </dependencies> 
</project> 

は、事前にありがとう：

Exception in thread "dag-scheduler-event-loop" java.lang.NoClassDefFoundError: org/apache/spark/sql/DataFrame

マイポンポンファイルがどのように見えます!!

誰でもこの手伝いできますか？ さらに詳しい情報が必要な場合はお知らせください！

Answer 1

は、依存

<dependency> 
    <groupId>org.apache.spark</groupId> 
    <artifactId>spark-sql_2.10</artifactId> 
    <version>${spark.version}</version> 
    <scope>provided</scope> 
</dependency> 

を追加してみます。また、あなたのバージョンspark-cassandra-connectorは、あなたが使用しているスパークのバージョンと互換性があることを確認してください。最新のSparkバージョンで古いバージョンのspark-cassandra-connectorを使用しようとしていたときに、すべての適切な依存関係でも同じエラーメッセージが表示されました。この表を参照してください：https://github.com/datastax/spark-cassandra-connector#version-compatibility