スパークRDD持続性とパーティション

Question

特定のRDDは、例えばスパークに作成されます。

lines = sc.textFile("README.md") 

そして変換は、このRDDに呼び出されます。

pythonLines = lines.filter(lambda line: "Python" in line) 

あなたは、この上のアクションを呼び出す場合変換されたフィルタRDD（pythonlines.firstなど）an RDD will be recomputed ones again each time you run an action on themとはどういう意味ですか？元のRDDでfilter変換を呼び出した後に、textFileメソッドを使用して作成した元のRDDが保持されていないと考えました。それでちょうど最新の変換されたRDDを再計算します。この場合、フィルタ変換を使って作成したRDDです。私の前提が正しければ、それがなぜ必要なのかは本当に分かりません。

Answer 1

点火では、RDDはです。評価されています。あなたは単にあなたが結果を使用したことがないので、ファイルを読まずに終了します

lines = sc.textFile("README.md").map(xxx) 

あなたのプログラムを書く場合、これが意味しています。あなたは2つの異なる場所でそれを再利用しているのでlineLengthを持つために必要な計算は、二回を作らされます

linesLength = sc.textFile("README.md").map(line => line.split(" ").length) 
sumLinesLength = linesLength.reduce(_ + _) // <-- scala way 
maxLineLength = linesLength.max() 

：あなたのような何かを書く場合。それを避けるために、あなたは二つの異なる方法

linesLength = sc.textFile("README.md").map(line => line.split(" ").length) 
linesLength.persist() 
// ... 

で使用する前に、あなたの結果RDDを持続する必要がありますまた、https://spark.apache.org/docs/latest/programming-guide.html#rdd-persistenceを見てみることができます。私の説明があまりにも混乱ではないことを願っています！