HadoopでMappersからReducersへデータをコピーするために使用されるプロトコルはどれですか？

Question

Hadoopフレームワークが（マッパーノードにローカルに保存されている）マッパー出力を（同一ノード上で実行されていない）リデューサータスクにコピーするために使用される転送プロトコルに関する疑いがあります。 - Shuffleフェーズ のためにHTTPを使用するブログを読んでください - また、HDFSデータ転送（mapreduceジョブによって使用される）がTCP/IPソケットを使って直接行われることをお読みください。 - HadoopのRPCについての詳細はThe Definitive guideを参照してください。

どのポインタも参考になるでしょう。

Answer 1

ハイドープは中間データシャッフルにHTTPServletsを使用します。 （WangらによってJVM-Bypass for Efficient Hadoop Shufflingから取られた）下の図を参照してください：慎重な御馳走のために

は2013（full-text available）に発表された作品「効率的なHadoopのシャフリングのためのJVM-バイパス」を見てみましょう。