Sparkのxml解析に外部ジャーが必要ですか？

Question

私はSparkでXMLを解析しようとしています。私は以下のエラーが発生しています。手伝っていただけませんか？

import org.apache.spark.sql.SQLContext 
import org.apache.spark.SparkContext 
import org.apache.spark.SparkConf 

object TestSpark{ 
def main(args:Array[String}) 
{ 
val conf = new SparkConf().setAppName("Test") 
val sc = new SparkContext(conf) 
val sqlContext = new SQLContext(sc) 
val df = sqlContext.read 
.format("com.databricks.spark.xml") 
.option("rootTag", "book") 
load("c:\\sample.xml") 
} 
}` 

エラー： Exception in thread "main" java.lang.ClassNotFoundException: Failed to load class for data source: com.databricks.spark.xml.

Answer 1

は、SparkのものにScalaのバージョンと一致しています。バージョン2.0以降、SparkはデフォルトでScala 2.11で構築されています。 Scala 2.10を使用するには、Sparkソースパッケージが必要で、Scala 2.10のサポートが必要です。 はこれが役立つことがあり

Compatibility issue with Scala and Spark for compiled jars
spark-xml

Answer 2

なし外部のjarファイルはdatabricks spark xml除いて必要とされます。 2.0以上の依存関係を追加する必要があります。古いSparkを使用している場合はthisを使用する必要があります。あなたは

groupId: com.databricks 
artifactId: spark-xml_2.11 
version: 0.4.1 

を使用する必要が