Spark 2.0 - Databricks xml reader入力パスが存在しません

Question

Databricks XMLファイルリーダーAPIを使用しようとしています。

サンプルコード：私は直接ファイルパスを与えると

val spark = SparkSession 
    .builder() 
    .master("local[*]") 
    .appName("Java Spark SQL basic example") 
    .config("spark.sql.warehouse.dir", "file:///C:/TestData") 
    .getOrCreate(); 
    //val sqlContext = new SQLContext(sc) 
    val df = spark.read 
    .format("com.databricks.spark.xml") 
    .option("rowTag", "book") 
    .load("books.xml") 

    df.show() 

、そのいくつかは、倉庫のディレクトリを探しています。だから私はspark.sql.warehouse.dirオプションを設定しましたが、今はそれをスロー入力パスは存在しません。

実際にはプロジェクトのルートディレクトリの下にありますが、プロジェクトのルートディレクトリを探しているのはなぜですか？

Answer 1

最後に、作業ディレクトリを指定する必要があります.Warehouseディレクトリを指定して、loadメソッドの絶対ファイルパスも渡す必要があります。私は倉庫ディレクトリの使用が何であるか分かりません。

私たちはあなたが与える必要はありませんC：他の

作業コード：

val spark = SparkSession 
    .builder() 
    .master("local[*]") 
    .appName("Java Spark SQL basic example") 
    .config("spark.sql.warehouse.dir", "file:///TestData/") 
    .getOrCreate(); 
    //val sqlContext = new SQLContext(sc) 
    val df = spark.read 
    .format("com.databricks.spark.xml") 
    .option("rowTag", "book") 
    .load("file:///TestData/books.xml") 

    df.show()