mapreduce：フェーズ "emit"を減らすことができますか？

Question

ノード上で処理を行っているとします。処理待ちのキーは2,1,3です。 前処理では、キーは1,2,3にソートされます。 そして、処理シーケンスになります。

は
行わ処理1
処理1が
行われ、処理2
処理2が

を行って3
処理3の処理を開始し始める始める私はキーでいくつかのことを放射することができます2、処理キー1？

同じノードのキーが順番に処理されるため、これは並列処理の概念と矛盾しないと思います。

Answer 1

ないパーティショニングステップは、すでに起こっているので、ので、あなたの削減のステップから任意の出力ではなく、バック入力フォルダ

分割入力=>減速=>出力

に、移動先のフォルダに移動しますアイデンティティマッパーと同じレデューサーを使って、常に2番目のmapreduceジョブを実行することができます。