ローカルキャッシュポストマップスペースを取る仕事を減らす

Question

私は大きなデータ処理のためにHortonworks環境を使用しています。

Hive/Oozie/PigなどのMap Reduceジョブの一部として、私の下のローカルキャッシュディレクトリがいっぱいになっていることがわかりました.JARファイルですべてのマップ実行を減らすためのフォルダが1つ作成されます。

/Hadoopの/糸/ローカル/ usercache /ルート/ファイルキャッシュ

私が直接これらのフォルダーを削除した場合、それは大丈夫ですか？自動的に削除するように設定できる設定はありますか？

Answer 1

これらのディレクトリは、600000ms（10分）ごとに自動的にクリーンアップする必要があります。

また、このプロパティをyarn-site.xml、 yarn.nodemanager.localizer.cache.cleanup.interval-msに設定することで、この時間を短縮できます。

このキャッシュディレクトリの最大サイズを変更することもできます。 yarn.nodemanager.localizer.cache.target-size-mb。デフォルトのターゲットサイズは10240MBです。

ジョブが実行されていない場合は、キャッシュを手動で削除しても問題ありません。キャッシュを削除した後、nodemanagerを再起動してください。