BluemixオブジェクトストレージのParquetファイルをApache Sparkノートブックで上書きする

Spark Notebookを実行して、DataFrameをBluemixオブジェクトストレージのパーケットファイルとして保存しています。BluemixオブジェクトストレージのParquetファイルをApache Sparkノートブックで上書きする

ノートブックを再実行するときに、パーケットファイルを上書きします。しかし、実際にはデータを追加するだけです。 iPythonコードのサンプル以下

：

df = sqlContext.sql("SELECT * FROM table") 
df.write.parquet("swift://my-container.spark/simdata.parquet", mode="overwrite")

2016-05-12 C Heyer

は、私はPythonの男ではないんだけど、私はblockstorageだけ「simdataを置き換えると思います。この

df.write.mode(SaveMode.Overwrite).parquet("swift://my-container.spark/simdata.parquet")

2016-05-12 13:08:43

私は次のように試しましたここで説明したように [Spark SQL Save Modes]（http：//spark.apache 。/ docs/latest/sql-programming-guide.html＃save-modes）これはまだ追加されています：/ –

urは4040ポートに移動し、実行中のジョブを確認できます –

ur code tht追加するデータを最初に書き込みます。 –

のようなデータフレームのためのSaveMode作業.parquet '' PART-0000 * 'が残っています。appdの' UUID 'を使って' simdata.parquet 'でした.DFは' simdata.parquet * 'ですべてのファイルを読み込みました。

2016-09-09 13:33:04 dannyeuu

答えて