マップ専用タスクにシャッフルとソートがありますか？

Question

シャッフルとソートフェーズは、マップタスクの終了前に来るのですか、またはマップタスクから出力が生成された後に来るので、マップタスクに戻ってルックバックはありません。これは私が混乱する「地図のみの仕事」の場合です。 「マップのみ」タスクにシャッフルとソートがない場合、最終出力ファイルにデータがどのように書き込まれているかを誰かが説明することができます。

Answer 1

マップオンリータスクを使用している場合、シャッフリングは一切ありません。つまり、マッパーは最終出力を直接HDFSに書き込みます。

一方、マッパとレデューサを使用したMap-Reduceプログラム全体がある場合は、シャッフルは縮小フェーズ開始前に開始できます。 SOでthis very nice answerを引用

：

すべてのシャッフルの第一は、減速に マッパーからデータを転送する処理のことですので、私はそれはそうでなければ、減速のために 必要であることは明らかだと思います、彼らはどんな 入力（またはすべてのマッパーからの入力）を持つことができません。 のマップフェーズが完了する前にシャフリングを開始して、時間を節約できます。そのため、 ステータスがまだ100％でない場合は、 のステータスが0％を超える（ただし33％未満）ことがわかります。

この回答はあなたの混乱を明確にしていました。