カサンドラコネクタApacheのスパーク：ローカルクラス互換性のない

イムカサンドラ表は、カサンドラスパークコネクタを使用してRDDに参加しよう：カサンドラコネクタApacheのスパーク：ローカルクラス互換性のない

samplerdd.joinWithCassandraTable(keyspace, CassandraParams.table) 
     .on(SomeColumns(t.date as a.date, 
     t.key as a.key)

これは、スタンドアロンモードで動作しますが、私はクラスタモードで実行するとき、私はこのエラーを取得します：

Job aborted due to stage failure: Task 6 in stage 0.0 failed 4 times, most recent failure: Lost task 6.3 in stage 0.0 (TID 20, 10.10.10.51): java.io.InvalidClassException: com.datastax.spark.connector.rdd.CassandraJoinRDD; local class incompatible: stream classdesc serialVersionUID = 6155891939893411978, local class serialVersionUID = 1245204129865863681

私はすでにマスタとスレーブのjarファイルをチェックしています。

イムは、それが起こって何ができるかスパーク2.0.0を使用して、カサンドラ3.7、カサンドラ・スパークコネクタ2.0.0 M2、カサンドラのドライバコア3.1.0とScalaの2.11.8

？

出典

2017-01-17 Manuel Valero

あなたはどこかに依存バージョンがありません。それを探す。 – maasg

あなたは "私はすでに奴隷と奴隷の瓶をチェックしている"と言います。あなたは奴隷の上に瓶を置いてはいけません。代わりに 'spark-submit -jars 'を使ってあなたの仕事を提出してください。 http://spark.apache.org/docs/latest/submitting-applications.html#advanced-dependency-management – maasg

Spark-submitの代わりに.master（ "spark：// sparkmaster：7077"）を使用しています。 jarsをsetJarsで設定します。そうですか？ –

最後に解決されました。 cassandra-driver-core依存関係を3.0.0に更新して動作させます。 - Manuel Valeroは今編集しています

出典

2017-01-18 18:30:14

カサンドラコネクタApacheのスパーク：ローカルクラス互換性のない

答えて

関連する問題