Hadoop MapReduceジョブのデータローカリティをオフにする

Question

私はYARNクラスタと数十のノードをクラスタに持っています。私のプログラムは地図だけの仕事です。 Avro入力のサイズは数百万行で非常に小さくなりますが、1行を処理するには大量のCPUが必要です。私が観察していることは、多くのマップタスクが単一のノードで実行されているのに対し、他のノードは参加していないということです。そのため、一部のノードが非常に遅くなり、全体のHDFSパフォーマンスに影響します。私はこの動作がHadoopのデータローカリティのためだと考えています。

私はそれをオフにすることが可能かどうか、またはYARNにマップタスクをクラスタ全体に均一に分散させる別の方法があるかどうか不思議ですか？

ありがとうございます！

yarn.scheduler.capacity.node-locality-delay 

：あなたは簡単に、この地域を緩和する簡単な方法のようです（確かに、すべてのデータは、1ノードを右?!にありません）クラスタ全体でより均一にデータを再配布することができないと仮定すると、

Answer 1

この設定にはデフォルトの40が必要です。この設定に1を設定して、これに望ましい効果があるかどうかを確認してください。おそらく0でさえ働くかもしれません。