hadoopで並べ替えを無効にすることはできますか？

Question

私の仕事はソートを必要とせず、キーごとの集計情報だけです。ですから、パフォーマンスを向上させるためにすべての情報の並べ替えを無効にすることができればと思います。

---

注：多くのマッパー間でデータを集計する必要があるため、レデューサーの数をゼロに設定することはできません。私はちょうど1つの減速機と結果をソートに興味がありません。

Answer 1

マップ出力をソートする主な目的の1つは、タプルがレデューサーに到達すると、レデューサーは減速タスクを呼び出す必要があります。ソートマップ出力リストでは、別のキーを見てから新しいリストを作成する）、マップの出力がソートされていない場合は、リスト全体をスキャンして同じキーを持つリストを作成する必要があります。