違法循環参照は、私がスパーク+ Scalaの組み合わせで</em></strong>エラーを含む<strong><em>違法循環参照に直面しています

Question

を兼ね備えています。

Error Ocured during job for '1473170880000000' and Error Message is scala.reflect.internal.Symbols$CyclicReference: illegal cyclic reference involving method srcip 
    at scala.reflect.internal.Symbols$Symbol$$anonfun$info$3.apply(Symbols.scala:1220) 
    at scala.reflect.internal.Symbols$Symbol$$anonfun$info$3.apply(Symbols.scala:1218) 
    at scala.Function0$class.apply$mcV$sp(Function0.scala:40) 
    at scala.runtime.AbstractFunction0.apply$mcV$sp(AbstractFunction0.scala:12) 
    at scala.reflect.internal.Symbols$Symbol.lock(Symbols.scala:482) 
    at scala.reflect.internal.Symbols$Symbol.info(Symbols.scala:1218) 
    at scala.reflect.internal.Symbols$Symbol.initialize(Symbols.scala:1374) 
    at scala.reflect.internal.Symbols$Symbol.privateWithin(Symbols.scala:1169) 
    at scala.reflect.internal.Symbols$Symbol.hasAccessBoundary(Symbols.scala:1176) 
    at scala.reflect.internal.HasFlags$class.isPublic(HasFlags.scala:111) 
    at scala.reflect.internal.Symbols$Symbol.isPublic(Symbols.scala:112) 
    at com.datastax.spark.connector.util.ReflectionUtil$$anonfun$2.apply(ReflectionUtil.scala:77) 

Error Ocured during job for '1453743420000000' and Error Message is scala.MatchError: <error> (of class scala.reflect.internal.Types$ErrorType$) 
    at com.datastax.spark.connector.util.ReflectionUtil$.returnType(ReflectionUtil.scala:113) 

このエラーは、複数のスレッドを同時に実行しようとすると発生します。マルチスレッドの問題のような臭いがあります。ではない ？このエラーは は私の依存関係の詳細については、

<dependency> 
     <groupId>org.apache.spark</groupId> 
     <artifactId>spark-core_2.10</artifactId> 
     <version>1.6.2</version> 
    </dependency> 

    <dependency> 
     <groupId>org.apache.spark</groupId> 
     <artifactId>spark-sql_2.10</artifactId> 
     <version>1.6.2</version> 
    </dependency> 

    <dependency> 
     <groupId>com.datastax.spark</groupId> 
     <artifactId>spark-cassandra-connector_2.10</artifactId> 
     <version>1.6.0</version> 
    </dependency> 

    <dependency> 
     <groupId>com.datastax.cassandra</groupId> 
     <artifactId>dse-driver</artifactId> 
     <version>1.1.0</version> 
    </dependency> 

    <dependency> 
     <groupId>com.datastax.cassandra</groupId> 
     <artifactId>cassandra-driver-core</artifactId> 
     <version>3.0.2</version> 
    </dependency> 

ドライバのエラーログ

この上の任意の提案/ヘルプ

カサンドラ rdd.saveToCassandra(...)にカサンドラからデータをロードするときに来る（とき私の最初のアクションを実行）、またはデータを保存するとき高く評価。誰もこの問題に直面していますか？

Answer 1

最後に問題は解決しました。私のアプリケーションとスパークバイナリはScala 2.10上に構築されていました.Scala 2.10にはリフレクション/マルチスレッドの問題があり、それは私が行ったいくつかのフォーラムでの提案として投稿されています。

修正は、私はScala 2.11でアプリケーションを構築し、2.11で構築されたSparkライブラリを使用しました。問題は消えました。

更新の依存関係

org.apache.spark 火花core_2.11 1.6.2

<dependency> 
    <groupId>org.apache.spark</groupId> 
    <artifactId>spark-sql_2.11</artifactId> 
    <version>1.6.2</version> 
</dependency> 

<dependency> 
    <groupId>com.datastax.spark</groupId> 
    <artifactId>spark-cassandra-connector_2.11</artifactId> 
    <version>1.6.0</version> 
</dependency> 

これが誰かを助ける希望。