/var/log/hadoop-hdfsのhadoop-hdfsログを消去する方法

hadoopクラスタのmy nameノードが "正常に動作しないため、ロールのログディレクトリは空き容量が4GB未満のファイルシステム/ var/log/hadoop-hdfs（無料：2.4GB（11.12％）、容量：21.7GB「/var/log/hadoop-hdfsのhadoop-hdfsログを消去する方法

このフォルダを調べたところ、5.5GBのログファイルが「hdfs-audit.log .0 " - " hdfs-audit.log.20 "。これらのファイルを読んで、本当にこれらのログを保存する必要はありません。それらを永久に削除して再度生成しない方法があるのですか？手動で削除しようとしましたが、数時間後に復帰したようです。）

「log4j.logger.org.ap /etc/hadoop/conf/log4j.propertiesに「ache.hadoop.hdfs.server.namenode.FSNamesystem.audit = WARN、NullAppender」と表示されます。しかし、それらのファイルが "戻ってくる"のを防ぐことはできませんでした。

ご協力いただきありがとうございます。

出典

2013-08-12 Heidi Qiao

のHadoopのバージョンは何で最大ログファイルのサイズを保持しているログファイルの数を減らしますあなたは走っていますか？ log4j.propertiesファイルを変更した後、namenodeを再起動しましたか？ –

@ChrisWhite今すぐ再起動しましたが、5.5G監査ログファイルはまだ/ var/log/hadoop-hdfsの下にあります。再度手動で削除してから再起動しますか？ –

バージョンはHadoop 2.0.0-cdh4.3.0です。ありがとうございました！ –

まず最初に、Hadoopはあなたが言及しているものよりもはるかに大きな容量を対象に設計されています。つまり、5.5GBのログはあまり一般的ではありません。これはあなたの場合にデフォルト設定が適切でない理由を説明します。

次のことが可能です。

は、変数navigator.audit_log_max_backup_index（通常は10）
またはnavigator.audit_log_max_file_size

出典

2015-02-21 22:24:59 Pixou

ありがとうございます！私は問題を投稿してからしばらくしていましたが、問題を解決するためにlog_max_file_sizeを修正したと思います。私たちは小さなクラスターで何かを試していたので、マシンには大きな容量がありませんでした。 –

どこでこれらの変数を設定しますか？これらの変更が反映されるためにデータノードを再起動する必要がありますか？ – amey91

/var/log/hadoop-hdfsのhadoop-hdfsログを消去する方法

答えて

関連する問題