2016-11-23 10 views
0

最新バージョンのYARNには、ジョブが使用できるメモリ(またはコア)の量を制御する設定パラメータがあります。私はウェブから見つけようとしましたが、私はまだできませんでした。パラメータが分かっている場合は、私に知らせてください。YARNのジョブのリソース使用を制限する方法

私はこれについていくつかの種類のスケジューラを使用することをお勧めしますが、現在はジョブがシステム全体を悪用しないようにジョブレベルの制御が必要です。

ありがとうございます!

答えて

0

各コンテナに割り当てられるリソースの最大値と最小値を制御できます。

  • yarn.scheduler.minimum-allocation-mb:各コンテナの最小メモリ割り当て
  • yarn.scheduler.maximum-allocation-mb:各容器の最大メモリアロケーション
  • yarn.scheduler.minimum-allocation-vcores:各コンテナの最小コア割り当て
  • yarn.scheduler.maximum-allocation-vcores:各容器
の最大コアわりあて

ユーザージョブの乱用を避けるには、yarn.scheduler.maximum-allocation-*を解決できますRMはこれらの制限を超える要求を拒否しているので、InvalidResourceRequestExceptionを投げてしまいます。

ref:yarn-default.xml

関連する問題