のhadoopで、マップタスクからデータを取り出す方法を減らすには

Question

私は減速機がhttp経由でマップ出力を取り込むことを理解しています。しかし、各マップタスクはすべての流出を1つのファイルに統合するので、どのようにタスクを削減して、中間タスクのデータをマップタスクから取り出すことができますか？そのファイルのほんの一部ですか？

Answer 1

マップタスクの出力は、パーティション番号でソートされます。各区画番号は、1つの減速機に対応する。レジューサーが出力をプルすると、ファイルポインターはレデューサーのパーティション番号の開始位置にオフセットされ、読み取りを開始します。もちろん、ファイルオフセットテーブルのパーティション番号は、これを実現するためにマッパー側で管理されています。