2016-06-30 1 views
0

Hadoopはローカルファイルシステムからの入力を受け付けますが、入力がすべてのノードのローカルファイルシステムからであるか、またはドライバノードのローカルファイルシステムからのものであるかはわかりません。 Hadoopのストリーミング、-inputオプションでローカルファイルシステムからの入力は、各ノードまたはドライバノードだけにありますか?

が与えられたファイル名を持つすべてのノードからの入力を意味するようだ、私もこれを確認する

答えて

0

をご希望のHadoopストリーミングの-inputオプションは、ローカルファイルからではありませんシステムでは、HDFSパスである必要があります。

これはHDFSパスなので、ファイル/ディレクトリは実行されたMapReduceジョブで使用できるようになります。