sparkでsaveAsTextFileメソッドのパフォーマンスを向上させる方法はありますか

Question

私はsparkで大きなデータを処理し、HDFSに保存しました。

しかし、私はsaveAsTextFileメソッドがやや遅いと感じています。

パフォーマンスを向上させる方法があるのだろうかと思います。

（予想よりも遅い実行されている）私の元のコード

val data = sc.textFile("data", 200); 
data. 
    flatMap(_.split(" ")). 
    map(word => (word, 1)). 
    reduceByKey(_ + _). 
    saveAsTextFile("output") 

は私が合体を追加し（1）、速度が劇的に

val data = sc.textFile("data", 200); 
data. 
    flatMap(_.split(" ")). 
    map(word => (word, 1)). 
    reduceByKey(_ + _). 
    coalesce(1). 
    saveAsTextFile("output") 

Answer 1

を改善し、私はあなたの仕事はゆっくりとB実行されている推測しています/ cあなたはあなたの入力の200のパーティションを求めています。出力をHDFSに書き込むと、HDFSに200個（おそらくは小さい）のファイルが書き込まれます。 1に合体すると速度が上がります。

textFileの200個のパーティションを削除し、Sparkにデフォルトの並列処理を選択させることをお勧めします。

ジョブの最後に書き出されたファイルサイズにも注意してください。 HDFSは、ファイルサイズがブロックサイズに近いときに最も効果的です（私はデフォルトを覚えていませんが、約256Mと思います）。

Sparkがパーティションごとにセットアップ/ティアダウンを行うため、パーティションが遅くなる可能性があるもう一つの理由があります。これらの数字を設定するにはスィートスポットがあります。あなたのスパークマスターを見てください。実際の作業の5msのセットアップ/ティアダウンが100msあれば、必要なパーティションは少なくて済みます。

私はいつもスパーク設定をデフォルトにして、必要に応じて調整します。