1
sparkRでは、出力を多くの部分ファイルではなく1つのファイルに書き出しています。あなたは、以下に示すようにwrite.dfにCOALESCEを使用する方法をアドバイスしてくださいでした:sparkR write.dfを1つのファイルに統合する
write.df(user_counts, path = '/aaa/bbb/cccc/', source = "csv", mode = "append")
sparkRでは、出力を多くの部分ファイルではなく1つのファイルに書き出しています。あなたは、以下に示すようにwrite.dfにCOALESCEを使用する方法をアドバイスしてくださいでした:sparkR write.dfを1つのファイルに統合する
write.df(user_counts, path = '/aaa/bbb/cccc/', source = "csv", mode = "append")
this document SparkRによると、以下のが唯一の1パーティションに新しいDFを返す1.2のver:によると
coalesce(df_name, 1)
SparkR ver 2.1 document次の例では、パーティションが1つしかない新しいDFを返します。
repartition(x, 1)
ありがとうございました。それは私に期待される結果を与える。 – Bhaskar
@Bhaskar - 私の答えがあなたを助けてくれてうれしいです。私の答えを受け入れることができますか? – Yaron