cassandraとsparkの接続中にエラーが発生しました

Question

私のubuntu 14.04にcassandra 2.1.11、spark 2.0.0.bin hadoop 2.7、java version 1.8.0_101をインストールしました。スパークカサンドラコネクタ、私がインストールされているgitの

sudo apt-get install git 
git clone https://github.com/datastax/spark-cassandra-connector.git 

し、それを

cd spark-cassandra-connector 
git checkout v1.4.0 
./sbt/sbt assembly 

を構築し、ホームディレクトリ

cp spark-cassandra-connector/target/scala-2.10/spark-cassandra-connector-assembly-1.4.0-SNAPSHOT.jar ~ 

にスカラ座のjarファイルを配置し、コネクタを使用するために

bin/spark-shell --jars ~/spark-cassandra-connector-assembly-1.4.0-SNAPSHOT.jar 

とScalaで、私はcqlshからMY_TABLEテスト鍵空間とテーブルを作成し、接続をテストするために、私は

eval test_spark_rdd = sc.cassandraTable("test", "my_table") 

次のコマンドを実行して、持っている

sc.stop 
import com.datastax.spark.connector._, org.apache.spark.SparkContext, org.apache.spark.SparkContext._, org.apache.spark.SparkConf 
val conf = new SparkConf(true).set("spark.cassandra.connection.host", "localhost") 
val sc = new SparkContext(conf) 

をPROMTエラー

error: missing or invalid dependency detected while loading class file 'CassandraConnector.class'. 
Could not access type Logging in package org.apache.spark, 
because it (or its dependencies) are missing. Check your build definition for 
missing or conflicting dependencies. (Re-run with `-Ylog-classpath` to see the problematic classpath.) 
A full rebuild may help if 'CassandraConnector.class' was compiled against an incompatible version of org.apache.spark. 

これはバージョンの不一致によるものですか火花とキャサンドラのh？

Answer 1

これは、SparkとSparkの間の不一致です。 Spark 2.0.0で1.4.0ライブラリを使用することを選択しました。

2.0.0リリースを使用し、スパークパッケージも使用してください。

https://spark-packages.org/package/datastax/spark-cassandra-connector

> $SPARK_HOME/bin/spark-shell --packages datastax:spark-cassandra-connector:2.0.0-M2-s_2.11