データソース：com.databricks.spark.xmlの検索に失敗しました。パッケージはhttp://spark.apache.org/third-party-projects.html

Question

でインストールされています。スパークがインストールされていないintellijプロジェクトを使用してSparkをロードしています。

val spark = SparkSession.builder().config(sparkConf).getOrCreate() 

はI`veは

sparkConf.set("spark.driver.extraClassPath", "C:/.../spark-xml_2.11-0.4.1.jar") 
sparkConf.setExecutorEnv("spark.driver.extraClassPath", "C:/.../spark-xml_2.11-0.4.1.jar") 
sparkConf.set("spark.executor.extraClassPath", "C:/.../spark-xml_2.11-0.4.1.jar") 
sparkConf.setExecutorEnv("spark.executor.extraClassPath", "C:/.../spark-xml_2.11-0.4.1.jar") 
sparkConf.setJars(Array("C:/.../spark-xml_2.11-0.4.1.jar" )) 

と

spark.sparkContext.addJar("C:/.../spark-xml_2.10-0.2.0.jar") 

とを使用することにより火花com.spark.databricks.xmlを追加しましたが、私は例外を取得spark.read.format ("com.databricks.spark.xml")を使用しようとすると、「失敗しました。データソース：com.databricks.spark.xmlを見つけてください。パッケージはhttp://spark.apache.org/third-party-projects.htmlで見つけてください。

これを修正するにはどうすればよいですか？私はスパークシェルを使用してジャーを追加することをお勧めしますが、私はスパークシェルを持っていません。スパークがインストールされていません...

Answer 1

maven/sbtを持つプロジェクトをお持ちの場合は、

<!-- https://mvnrepository.com/artifact/com.databricks/spark-xml --> 
<dependency> 
    <groupId>com.databricks</groupId> 
    <artifactId>spark-xml_2.11</artifactId> 
    <version>0.4.1</version> 
</dependency> 

参考：下記のように-xml依存https://mvnrepository.com/artifact/com.databricks/spark-xml_2.11/0.4.1