Spark Dataframeが突然古いキャッシュデータを繰り返し過度に再利用すると、急激に遅くなる

Question

キャッシュされた結果をリストに保存し、それぞれの最後のリストのすべてのデータで新しいDataFrameを計算しようとすると問題が発生しました繰り返し。しかし、空のDataFrameを使用して毎回空の結果を取得しても、関数は約8〜12ラウンド後に突然非常に遅くなります。ここで

は私のコード

testLoop(Nil) 
def testLoop(lastDfList:List[DataFrame]){  
    // do some dummy transformation like union and cache the result 
    val resultDf = lastDfList.foldLeft(Seq[Data]().toDF){(df, lastDf) => df.union(lastDf)}.cache   

    // always get 0, of course 
    println(resultDf.count) 

    // benchmark action 
    benchmark(resultDf.count)  

    testLoop(resultDf::lastDfList) 
} 

ベンチマーク結果 1~6 round : < 200ms 7 round : 367ms 8 round : 918ms 9 round : 2476ms 10 round : 7833ms 11 round : 24231ms

である私は、私はすでに空のデータフレームを使用しているためGCまたはブロックの立ち退きが私の場合は問題だと思うが、私ドンはありません何が原因なのか分からない？私はキャッシュや何かの意味を誤解していますか？

ありがとうございます！

spark.sparkContext.setCheckpointDir("/tmp") 

testLoop(Nil) 
def testLoop(lastDfList:List[DataFrame]){  
    // do some dummy transformation like union and cache the result 
    val resultDf = lastDfList.foldLeft(Seq[Data]().toDF){(df, lastDf) => df.union(lastDf)}.cache   

    resultDf.checkpoint() 

    // always get 0, of course 
    println(resultDf.count) 

    // benchmark action 
    benchmark(resultDf.count)  

    testLoop(resultDf::lastDfList) 
} 

しかし、それはまだ数回の反復の後に非常に遅くなる：

---

ImDarrenGのソリューションを読んだ後、私は次のように私のコードを変更しました。ここで

Answer 1

あなたはlastDfListの先頭にresultDfを追加することにより、DataFramesのリストを作成し、testLoopの次の反復にそれを渡す：

testLoop(resultDf::lastDfList) 

のでlastDfListが長く、各パスを取得します。

この行はlastDfListの各メンバーをINGのunionによって新しいDataFrameを作成：

val resultDf = lastDfList.foldLeft(Seq[Data]().toDF){(df, lastDf) => df.union(lastDf))}.cache 

lastDfListの各メンバーが、それの前任者の組合であるため、スパークが各パスに対して指数関数的に大きくなる系統を維持していますtestLoopです。

私は、時間の増加がDAGのハウスキーピングによって発生すると予想しています。データフレームをキャッシュすることで、変換を繰り返す必要はなくなりますが、スパークによってその系統を維持する必要があります。

キャッシュされたデータでもなくても、DataFrameをすべて前のものと結合して、実際に複雑なDAGを構築しているようです。各パスはtestLoopです。

checkpointを使用して系列を整理し、無限再帰を防ぐためのチェックを導入することができます。

Answer 2

APIおよびcodeによれば、checkpointは元のデータセットを変更する代わりに新しいデータセットを返します。