Sparkからファイルをフェザー形式で保存する方法は？

Apache Sparkのデータフレームをフェザー（https://github.com/wesm/feather）ファイルにエクスポートすることはできますか？Sparkからファイルをフェザー形式で保存する方法は？

IIUCあなたが試すことができます：

import feather 
import pandas as pd 

#df is spark df 
pdf = df.toPandas() 
feather.write_dataframe(pdf, 'test.feather')

2016-07-08 16:13:17 jezrael

うん、しかし、理想的に私は、メモリへのデータフレーム全体をアップロードする必要はありません。シナリオ：Sparkでメモリからデータフレーム（特徴抽出）を処理し、フェザーファイルに保存します。次に、ファイルをPython \ Rにアップロードします（おそらく、メモリ量の多い別のマシン）。 –

申し訳ありませんが、私は火花の専門家ではありません。たぶん別の解決策が役立つでしょう。 – jezrael

問題ありません。あなたの答えは私たちがこれまでに持っている解決策です。 –

答えて