spark（ワーカーノードのアプリケーションフォルダをクリーンアップ）

Question

私は、アプリケーションフォルダ（アプリケーションをダウンロードしたjarを含む）を作業フォルダの下のsparkでクリーンアップする必要があります。 私はspark env.Butで以下の設定をしようとしましたが動作しません。

SPARK_WORKER_OPTS = " - Dspark.worker.cleanup.enabled =真-Dspark.worker.cleanup.interval = 10 -Dspark.worker.cleanup.appDataTtl = 10"

クリーンアップする任意の解決策はありますフォルダ。 フォルダをきれいにするために与えられる正確な設定とは何ですか？ spark.defaults.conf/spark envで指定する必要があります。 ありがとうございました anitha。 spark.worker.cleanup.appDataTtl

をしかし、私の場合、私はちょうど作業ディレクトリをきれいにするために、カスタムのbashスクリプトを使用：

Answer 1

また、このプロパティを設定しようとすることができます。