スパーク・ドライバとエグゼキュータのテンポラリ・ファイルを削除

Question

RIBをsaveAsObjectFileで保存して、ドライバとエグゼキュータに一時ファイルを配布します。プログラムの最後にこれらのファイルをすべて削除したいと思います。それらを削除するには？

Answer 1

Spark経由でデータを削除するための組み込みサポートはありません。ただし、元のRDDでforeachPartitionを使用すると、各パーティションで任意のコードを実行できます。つまり、実際にデータを保存した各エグゼキュータで少なくとも1回は実行されます。

保存したフォルダを削除するコードを実行すると（1つのエグゼキュータで複数のパーティションを保持できるため、同じエグゼキュータで複数回実行すると失敗しないことが保証されます）あなたが必要なもの。これはビットハックであり、100％の防弾ではないかもしれないことに注意：

// save 
rdd.saveAsObjectFile("/my/path") 

// use data... 

// before shutting down - iterate over saved RDD's partitions and delete folder: 
import org.apache.commons.io.FileUtils  
rdd.foreachPartition(i => 
    // deleteDirectory doesn't fail if directory does not exist 
    FileUtils.deleteDirectory(new File("/my/path")) 
) 

EDIT：Apacheのコモンズを使用して、例えば

、例えば、場合のアプリケーションの実行1時エグゼキュータがクラッシュした場合、そのパーティションは他のエグゼキュータで再計算され、そのエグゼキュータのデータは削除されません。