どのように私は、コードを持っているスパーク

Question

に接頭辞なしで出力バケットを書き込む：

のような出力できます

dataFrame.write 
    .partitionBy("format", "dataset", "year", "month", "day", "hour") 
    .format(outputFormat) 
    .mode("overwrite") 
    .save(outputPath) 

：

がどのように私は接頭辞のないデータフレームを書くことができますか？名前の変更はありません。スパークまたはハーフープ構成でこれを行う方法はありますか？私は現在、フォルダの名前を変更するために別のbashスクリプトを使用しています。

明確にするために、私は、Sparkのコードを使用して次の構造を取得したい：

data 
-+parquet 
    +main 
    +2017 
     +01 
     +31 
      +15 

Answer 1

あなたがこれを行うことはできません。

あなたが見スパークコード、クラスExternalCatalogUtils.getPartitionPathString、見れば：

def getPartitionPathString(col: String, value: String): String = { 
    val partitionString = if (value == null || value.isEmpty) { 
     DEFAULT_PARTITION_NAME 
    } else { 
     escapePathName(value) 
    } 
    escapePathName(col) + "=" + partitionString 
} 

だから、常にスキームはcolumn=value

のようになります