pysparkデータフレームをHDFSに書き込む方法と、それをデータフレームに読み込む方法は？

Question

私は非常に大きなpysparkデータフレームを持っています。だから私はそれのサブセットの前処理を実行し、hdfsにそれらを保存したいと思う。後で私はそれらのすべてを読んで一緒に合体したい。ありがとう。

Answer 1

• DataFrameからHDFS（Spark 1.6）を書きます。

  df.write.save('/target/path/', format='parquet', mode='append') ## df is an existing DataFrame object. 
  

フォーマットオプションのいくつかは、csv、parquet、json等HDFS（1.6スパーク）からデータフレームを読み取る

• あります。

  sqlContext.read.format('parquet').load('/path/to/file') 
  

formatメソッドは、などparquet、csv、json