map/reduceの間でリソースを共有

Question

実行中のマップタスクはreduceタスクを遅くしますか？減速すると、彼らは共通のリソースを共有していますか？

Answer 1

もちろん、彼らはシステムに何らかの影響を与えます。それらは両方とも同じマシン上で実行されているJavaプロセスです。しかし、最近のシステム構成では、スロット数で何か愚かなことをしない限り、それほど大きな問題ではありません。

各マップタスクまたはリダクションタスク自体はマルチスレッドまたはマルチプロセスではないため、主に1つのCPUコアしか使用しません。これは、一般的な経験則が1マップであるか、コアあたりのスロット数を減らすことが意味をなさない理由です。だから、もしあなたが12コアを持っていれば、8つのマップスロットと4つのスロットを減らすことができます。

また、タスクは同じディスクを共有する予定ですが、通常はシステムに複数のディスクがあり、ディスクアクセスがバースト的になるため、これは大きな問題ではありません。

最高の構成を理解する最も良い方法は、さまざまな構成を試してみることです。スロット数を設定するのは難しいことではありませんので、調整してからプロダクション代表のジョブを再実行してください。

一度に1つのジョブしか実行していない場合、マッパーが実行されている間は、レジューサーはあまり効果がないことに注意してください。どちらの場合でも、実際には互いに影響しません。より現実的には、いくつかのジョブを実行して、あるジョブのマップタスクを他のジョブのリデューサと同時に実行します。