既存のディレクトリへの書き込みpartitionByを使用したデータフレーム

Question

以下のコードでは、データフレームを既存のディレクトリに書き込むことはできません。スパーク送信ジョブから終了します。既存のディレクトリに書き込む方法はありますか？新しいディレクトリを作成するよりも？

ここでのテストは、ファイル名は、それぞれの書き込みに異なっている場合は常に、既存のディレクトリに書き込むことができるデータフレーム

test.repartition(100).write.partitionBy("date").parquet(hdfslocation)

Answer 1

です。出力ファイルの名前を変更する仕組みを見つけなければなりません。

既存のディレクトリ内Overwrite既存のファイルにしたい場合は、ファイル名を変更する必要はありませんが、単にあなたがで遊ぶことができ、他のモードのオプションがあります

test.repartition(100).write.mode(SaveMode.Overwrite).partitionBy("date").parquet(hdfslocation) 

としてmodeオプションを使用します。Append, ErrorIfExists, Ignore, valueOf, values

は