2017-02-08 3 views
1

sparkRでは、出力を多くの部分ファイルではなく1つのファイルに書き出しています。あなたは、以下に示すようにwrite.dfにCOALESCEを使用する方法をアドバイスしてくださいでした:sparkR write.dfを1つのファイルに統合する

write.df(user_counts, path = '/aaa/bbb/cccc/', source = "csv", mode = "append") 

答えて

1

this document SparkRによると、以下のが唯一の1パーティションに新しいDFを返す1.2のver:によると

coalesce(df_name, 1) 

SparkR ver 2.1 document次の例では、パーティションが1つしかない新しいDFを返します。

repartition(x, 1) 
+0

ありがとうございました。それは私に期待される結果を与える。 – Bhaskar

+0

@Bhaskar - 私の答えがあなたを助けてくれてうれしいです。私の答えを受け入れることができますか? – Yaron

関連する問題