2017-04-03 7 views
2

私は新しいスパークです。私は、sparksessionまたはsqlcontextを使用してjsonファイルを解析しようとしています。 しかし、私がそれらを実行するたびに、私は次のエラーが表示されます。 SparkSessionまたはsqlcontextの使用中にエラーが発生しました。

Exception in thread "main" java.lang.NoSuchMethodError: org.apache.spark.internal.config.package$.CATALOG_IMPLEMENTATION()Lorg/apache/spark/internal/config/ConfigEntry; at org.apache.spark.sql.SparkSession$.org$apache$spark$sql$SparkSession$$sessionStateClassName(SparkSession.scala:930) at org.apache.spark.sql.SparkSession.sessionState$lzycompute(SparkSession.scala:112) at org.apache.spark.sql.SparkSession.sessionState(SparkSession.scala:110) at org.apache.spark.sql.DataFrameReader.(DataFrameReader.scala:535) at org.apache.spark.sql.SparkSession.read(SparkSession.scala:595) at org.apache.spark.sql.SQLContext.read(SQLContext.scala:504) at joinAssetsAndAd$.main(joinAssetsAndAd.scala:21) at joinAssetsAndAd.main(joinAssetsAndAd.scala)

は、今のところ私は、Eclipse IDEでScalaのプロジェクトを作成し、Mavenプロジェクトとして、それを設定し、火花やSQLの依存関係を追加しました。

私の依存関係:

<dependencies> 
    <dependency> 
     <groupId>org.apache.spark</groupId> 
     <artifactId>spark-core_2.11</artifactId> 
     <version>2.1.0</version> 
    </dependency> 

    <dependency> 
    <groupId>org.apache.spark</groupId> 
    <artifactId>spark-sql_2.11</artifactId> 
    <version>2.0.0</version> 
</dependency> 

    </dependencies> 

あなたは、私はこのエラーを取得し、それらをどのように修正することになっている理由を説明してもらえますか?

+3

spark-coreとspark-sqlで同じバージョンを使用してください。 spark-sqlのバージョンを '2.1.0'に変更してください –

+0

はあなたのコードを共有します – BDR

+1

' spark-sql'はすでに依存関係としてspark-coreを必要としているので、spark-coreを2回指定することはあまり意味がありません。また、あなたのバージョンではバージョンが異なります:spark-sql = 2.0.0、spark-core = 2.1.0。 – dk14

答えて

2

spark-coreとspark-sqlで同じバージョンを使用してください。 spark-sqlのバージョンを2.1.0に変更してください。

関連する問題