'DataFrame'オブジェクトの修正方法は 'coalesce'属性がありませんか？

Question

PySparkアプリケーションでは、データフレームをパンダに変換してトランスポーズしようとしましたが、その結果をCSVファイルに書きたいと思います。これは私がそれをやっている方法です：

df = df.toPandas().set_index("s").transpose() 
df.coalesce(1).write.option("header", True).option("delimiter", ",").csv('dataframe') 

実行このスクリプトは、私は次のエラーを取得するとき：

'DataFrame' object has no attribute 'coalesce' 

問題が何でありますか？どうすれば修正できますか？

Answer 1

問題は、sparkデータフレームをpandasデータフレームに変換したことです。パンダのデータフレームには​​3210メソッドがありません。 pandas hereのドキュメントを見ることができます。

toPandas()を使用すると、データフレームはすでに収集され、メモリには の代わりにパンダのデータフレームメソッドdf.to_csv(path)を使用してみます。