mapreduce hadoopのレデューサーはありません

Question

マッパーからレジューサーに放出されるキーは1つのみですが、レデューサーの番号は10に設定されていますので、1つのレデューサーがそのキーを実行し、残りの9つのレデューサーは実行しますか？

Answer 1

他の9つのレデューサーは、通常のライフサイクルを経て実行されますが、一度実行するとキー/値は処理されないため、すぐに停止します。したがって、不必要に実行している間にリソースを無駄にします。

一般的には（ほとんどの出力形式でこれを実行します）、実行されたものの何も書かれていない部品ファイルで終わることがわかります。パーツファイルには、gzipヘッダーなどのファイルメタデータだけの実際のデータは含まれません。

Answer 2

他の9つのレデューサーは、スロット時間が終了するまで実行されます。

K/Vペアを処理してすぐに停止することはありません。

カスタムパーティショナーを使用して、すべてのレデューサーにマップ出力を均等に配布できます。 - 少なくとも第一レベルのために;最終段階では1つの減速機を最終的に組み合わせるため、ほとんどの減速段階で計算負荷が軽減されます。