マップ・レデューサー・ジョブの実行中にhadoopクラスターに書き込む

Question

Hadoopにはフェア・スケジューラーがあり、優先グループにジョブを割り当てることができ、クラスター・リソースは優先順位に基づいてジョブに割り当てられます。私には分かりませんが、私が尋ねることは、地図ではないプログラムがHadoopクラスタによってどのように優先順位付けされるかです。具体的には、Hadoopが外部クライアント（たとえば、HDFSファイルを直接開いているスタンドアロンプ​​ログラムやストリーミングデータ）を介してHadoopに書き込む方法は、Hadoopがmap-redジョブを実行しているときに優先されます。

Answer 1

リソースマネージャは、それに提出されたジョブ（MapReduceアプリケーション、Sparkジョブなど）に優先順位を付けることができます。

distcp以外のHDFS操作では、NameNodeとResourceNodeはResource Managerではなく、NameNodeが受け取った順に処理されるだけです。