Spark FsHistoryProviderは2ヶ月前からログファイルを持ち込みます

Question

現在、私はHDP2.5からspark2を使用しています。 spark2のログメッセージをチェックすると、FsHistoryProviderは古いログファイルを再生します。私がアプリケーションIDを追跡すると、それは昨年の7月のログでした。

設定を変更してそのアクションを停止するよう提案されていますか？

以下のエラーメッセージが表示されます。

java.util.concurrent.ExecutionException: java.lang.OutOfMemoryError: Java heap space 

ありがとうございました。

Answer 1

クリーニング動作は、次のオプションを使用して設定することができます。

• spark.history.fs.cleaner.enabled - クリーナー有効にするためにtrueに設定します。
• spark.history.fs.cleaner.maxAge - 保持するアプリケーションの最大経過時間（デフォルトは7d）。
• spark.history.fs.cleaner.interval - クリーナープロセスを実行する頻度。

これで済むようにするには、クリーナーを有効にして残りのオプションを設定するだけです。