Mapreduceでは、複製も中間データに適用されますか？

Question

Mapreduceでは、マッパーによって生成された出力を中間データといいます。

中間データも複製されていますか？

中間データは一時的ですか？

中間データはいつ削除されますか？自動的に削除されますか、それとも明示的に削除する必要がありますか？

Answer 1

Mapperのスペルファイルは、Mapperが動作しているワーカーノードのローカルファイルシステムに格納されています。同様に、あるノードから別のノードにストリーミングされたデータは、そのタスクが実行されているワーカーノードのローカルファイルシステムに格納されます。

このローカルファイルシステムパスは、デフォルトで'/ tmp' のある hadoop.tmp.dir プロパティで指定されています。

ローカルファイルシステムで使用される一時的な場所が自動的にクリアされるので、クリーンアッププロセスを実行する必要はありません。フレームワークによって自動的に処理されます。