2017-06-10 1 views
0

この基本的な質問はお許しください。 しかし、ブロックサイズ以上のサイズのファイルを読み込もうとしたときにmapreduceジョブが起動しないのはなぜですか?なぜhadoop fs -putコマンドを使用するとmapreduceが起動しないのですか?

どこかで、MapReduceがLFSからHDFSへのデータセットのロードを担当することがわかりました。なぜhadoop fs -putコマンドを実行すると、コンソール上にmapreduceログが表示されないのですか?

アドバンスで感謝します。

答えて

2

MapReduceジョブを生成するhadoop distcpが考えられます。

https://hadoop.apache.org/docs/stable/hadoop-distcp/DistCp.html

DistCpバージョン2(分散コピー)が大きいイントラ/インタークラスタコピーのために使用されるツールです。 MapReduceを使用して配布、エラー処理と回復、およびレポートを実行します。これは、ファイルとディレクトリのリストを、ソースリストに指定されたファイルのパーティションをコピーするマップタスクへの入力に展開します。

hadoop fs -putまたはhdfs dfs -putは完全にHDFSで実装されており、MapReduceは不要です。

関連する問題