2017-06-27 3 views
0

公式のREST APIを使用して、Hadoop Resource Managerからさまざまなユーザーやアプリケーションからリソースの使用状況を読み込みます。私たちの問題は、アプリケーションの履歴が、使用されているコア、メモリ、およびコンテナに-1の値を返すように、十分に長くは持続しないことです。Hadoop Resource Managerはアプリケーション情報をどのくらい保存しますか?

糸がデータを保存する期間を延長したいが、値を設定する場所はわからない。

答えて

1

mapred-site.xmlを確認し、mapreduce.jobhistory.max-age-msを調べる必要があります。で述べたように:

https://hadoop.apache.org/docs/current/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml

履歴クリーナーの実行時に、この多くのミリ秒よりも古いジョブ履歴ファイルが削除されます。デフォルトは604800000(1週間)です。

リソース使用量を読み取る場合は、Job HistoryサーバーのJob APIおよびJob Counters APIの使用を検討する必要があります。 RM REST APIは、累積使用ではなく瞬時使用を示します。

https://hadoop.apache.org/docs/stable/hadoop-mapreduce-client/hadoop-mapreduce-client-hs/HistoryServerRest.html#Job_API

https://hadoop.apache.org/docs/stable/hadoop-mapreduce-client/hadoop-mapreduce-client-hs/HistoryServerRest.html#Job_Counters_API

関連する問題