Hadoop FairSchedulerの高度な内部データ構造とアルゴリズム？

Question

Hadoop FairSchedulerの内部は何ですか？ 各ジョブの待機時間を決定するために、priorty queue、heapを使用していますか？ または他の技術が使用されていますか？

Answer 1

公正なスケジューラを説明しているpaperが良いスタート地点です。アルゴリズムの詳細を説明し、さまざまなタイプのジョブのベンチマークを提供します。簡単な要約は、小さなジョブを先に実行するか、より大きなジョブの横に実行することによって、全体的なクラスターのスループットを向上させることです。あるレベルでは、それを優先キューと記述することもできますが、データまたはラックローカルのタスクを配置しようとするため、複雑になります。また、異なるトレードオフがあります。ほとんどのスケジューラは、任意のブロックの作業を行うために必要な時間を短縮しようとするため、最小化アルゴリズムと考えています。