Hadoop Streaming-ノードあたりのマップの最大数を設定します。

Question

ノードごとに実行されるマップタスクの数を設定できますか。
データをクロールするためにHadoop Streamingを使用しています。ブロックを避けるために、ノードごとにマップタスクが1つだけ必要です。

おかげで、ストリーミングの

Answer 1

かかわらずかどうかは、ノードごとのマッパの最高位mapreduce.tasktracker.map.tasks.maximumパラメータを用いて設定することができます。パラメータは、ノード上のmapred-site.xmlファイルに設定する必要があります。このプロパティは、クライアントで設定しても効果がありません。

Answer 2

あなたのjob.xmlで次の設定を試しましたか？

mapred.max.maps.per.node=1 
mapred.max.reduces.per.node=1 

これらは、デフォルトで-1（無制限）です（もちろん、使用可能なスロットによって異なります）。