2016-04-14 2 views
0

マップからグループ化されたデータを処理するReduceメソッド。しかし、私はどのようにタスクを減らすのがグループデータを取るのだろうか?マップが多くのグループ化されたデータを出力する場合は、タスクを減らすたびに同じ数のグループを読み込みますか?メカニズムは何ですか?hadoop reduce tasksでマップされたデータをマップする方法

答えて

0

どのようにタスクがグループデータを取るのですか?

それはシャッフルで処理され、ソートマッパーによって送信されるこのphasedDataの間に相

が、最終的にはそれが取得し、キー、一覧<>結果((キー)によってグループなど)のキーごとにグループ化されます。結果はレデューサーに送られます。結果が異なるレデューサーに送信される必要がある場合、シャッフルとソートフェーズとは異なるフェーズのパーティションフェーズが処理されます。

このフェーズは、Hadoopフレームワークによって実行され、私が知っている限り、あなたはこのフェーズについて何も変更する必要はありません。また

enter image description here

私はこの質問What is the purpose of shuffling and sorting phase in the reducer in Map Reduce Programming?

を見てみましょう示唆
関連する問題