スパーク変数は遅延評価されていますか？

Question

Iは、構造のスパークコードを有する：

val a:RDD = readData.someOperations() 
a.cache() 
val b = a.someOperations1() 
val c = a.someOperations2() 
val d = a.someOperations3() 
val e = a.someOperations4() 
a.unpersist() 

より多くRDDSにおけるいくつかの他のコードを（他のRDDSこのセクションにキャッシュされ、他のヴァルスが評価されます）。

ディスクへの書き込み変数（A、B、C、D、Eなど）

私はvaribalesはそれらが定義またはディスクへの書き込み時にのみされている場所に計算されているかどうかを知りたかったです。私は彼らがディスクに書き込んでいる間だけ評価されたら、同時に多くのRDDをキャッシュすることになるのではないかと心配しています。

Answer 1

はい。あなたは正しいです。 actionがreduce()map()ようactionが行われた場合parent計画を追跡することによって行われ​​を生成collect()save()など

のようにすべてのtransformation操作を完了するまでRDD上のすべてのtransformationsはlazily evaluatedです。

詳細はJerryLeadとJacekLaskowskiです。

これは役に立ちます。