2017-05-20 10 views
1

は、私は、システムのプロパティuser.dirがwarehouseLocation値に置換されてどのようthis blogSparkは文字列内のシステムプロパティ(文字列補間なし)をどのように解決しますか?

val warehouseLocation = "file:${system:user.dir}/spark-warehouse" 
val spark = SparkSession 
    .builder() 
    .appName("SparkSessionZipsExample") 
    .config("spark.sql.warehouse.dir", warehouseLocation) 
    .enableHiveSupport() 
    .getOrCreate() 

に以下のスニペットを見ました。文字列はs"file:${System.getProperty("user.dir")}/spark-warehouse"でなければなりませんか?

答えて

5

はい、file:${system:user.dir}/spark-warehouses"file:${System.getProperty("user.dir")}/spark-warehouse"です。

スパークで、それ自体によってsubstituteを実装しており、結合は設定providerをカスタマイズenvSystem.getEnv)、systemSystem.getProperty接頭又はから設定を読み出します。