すべてのデータを保存せずにRDDをチェックポイントする方法は？

Question

私は一連のジョブと中間を実行していますrddはすべてのジョブで使用されています。だから私は中間のrddsをキャッシュしていますが、いくつかの反復の後では減速します。それから、私はrddチェックを要求していません。スパークUIでは、チェックポインティングが正しく行われていることを確認できます。しかし、それはまたローカルシステムにそれぞれのrddを書くので時間がかかる。実際のデータを保存せずに不要な系統を破る効果的な方法は何ですか？rddのデータですか？

Answer 1

正確なチェックポイントはすべてのデータを保存することです。これにより、過去のことを忘れてしまい、忘れてしまいます。データを保存せずに、系統を破壊することは不可能です。