なぜ減速機の数を増やすと、減速する時間が長くなるのですか？

Question

今日、AWSのHadoopプログラムをさまざまな数の減速機で実行しましたが、減速機の数が増えるにつれて、減少するのではなく時間が増えることがわかりました。時間のために、私はマップから100％を意味する、30％をマップ100％に減らす100％を減らす

Answer 1

マッパーからデータを出力する場合、ネットワークを介してレデューサーにデータを送信する必要があることを忘れないでください結果が異なるレデューサーに転送する必要があるため、レデューサーの数を増やすには大きく、I/O操作は、各レデューサーが独自のファイルを作成するにつれて、より多くのファイルを作成する必要がある場合に増加します。

各ノードを起動してノードで作成/インスタンス化する必要があり、その結果起動時間が長くなります。また、より多くのネットワーク転送時間と解析時間を必要とする減速器の数全体にわたってデータを分割する必要があります。

また、ベストプラクティスは、あなたがHadoopのが心配それらを作成する必要はありません。また、全体のプロセスはyahoo developer

から速く

参考になるように使用していない場合は、ゼロに減速の数を設定することがあります

シャッフルのパフォーマンスが大幅に低下するのは、 です。

アプリケーション（r）に設定されている削減数は、明らかに重要な要素である です。抗生産的である削減が多すぎるか、または少なすぎ持つ

：少なすぎ

が軽減されているノードに過度の負荷が予定されている原因削減 - 極端なケースでは、我々は見てきた 100ギガバイトパー上で処理を軽減します減らす。これはまた、障害の回復が非常に悪い シナリオにつながります。これは、単一の失敗の減少が、ジョブのレイテンシに重大な悪影響を及ぼすためです（ ）。

シャッフルクロスバーに与える影響が少なすぎると、シャッフルクロスバーに悪影響が及ぼされます。また極端な場合、結果として小さなファイルが非常に多く生成され、結果として というジョブが生成されます。この結果、多くの小さな ファイルを処理する必要がある、後でMap-ReduceアプリケーションのNameNodeとパフォーマンスが損なわれます。