SparkのワーカーノードでGCが呼び出されたとき

Question

私は各繰り返しでループ内でRDDをキャッシュする必要があるSparkアプリケーションを開発中です。私が各RDDでやった後、私はunpersistにしようとします。しかし、いくつかの反復の後、私はメモリの例外から抜け出す。私がunpersistを実行した直後にGCが呼び出された場合は、すべてが正常でなければならず、（RDDのサイズのために）メモリの例外を取り除くべきではありません。しかし、GCがワーカー・ノードでどのくらいの頻度で呼び出されているかわかりません。誰かが私のためにそれを手がけてくれますか？

Answer 1

これはあなたのケースに関連していますが、反復回数が多い場合は、rddの依存関係のグラフが大きくなることに注意してください。この場合、checkpointsを使用して系列グラフをカットし、rddを保存することを検討してください（n回目の繰り返しごとに行うのが最善の方法です）。