3
私はMapReduceソートフェーズの実装に興味があります。それは非常に効率的であるようです。誰かがそれについての参考資料を提供してもらえますか?ありがとう!MapReduceフレームワークはどのようにソート段階を実装していますか?
私はMapReduceソートフェーズの実装に興味があります。それは非常に効率的であるようです。誰かがそれについての参考資料を提供してもらえますか?ありがとう!MapReduceフレームワークはどのようにソート段階を実装していますか?
Thisは、ソートフェーズがコード化される場所としてReduceTask.javaを指します。 ReduceTask.javaの393-408行を参照してください。さらに詳しい情報が必要な場合は、download the entire sourceとそれを掘り下げてください。
EDITED
hadoop bookから以下この図に示すように、 "ソート" 相はReduceTaskに該当します。 (ページ番号:163)
注意:ソートは実際にマッパーの後に発生します。減速機はソートされたセグメントをマージするだけです。 –
@ThomasJungblut:上の図を参照してください。 –
これは私が言ったことです:P –