この基本的な質問はお許しください。 しかし、ブロックサイズ以上のサイズのファイルを読み込もうとしたときにmapreduceジョブが起動しないのはなぜですか?なぜhadoop fs -putコマンドを使用するとmapreduceが起動しないのですか?
どこかで、MapReduceがLFSからHDFSへのデータセットのロードを担当することがわかりました。なぜhadoop fs -putコマンドを実行すると、コンソール上にmapreduceログが表示されないのですか?
アドバンスで感謝します。
この基本的な質問はお許しください。 しかし、ブロックサイズ以上のサイズのファイルを読み込もうとしたときにmapreduceジョブが起動しないのはなぜですか?なぜhadoop fs -putコマンドを使用するとmapreduceが起動しないのですか?
どこかで、MapReduceがLFSからHDFSへのデータセットのロードを担当することがわかりました。なぜhadoop fs -putコマンドを実行すると、コンソール上にmapreduceログが表示されないのですか?
アドバンスで感謝します。
MapReduceジョブを生成するhadoop distcpが考えられます。
https://hadoop.apache.org/docs/stable/hadoop-distcp/DistCp.html
DistCpバージョン2(分散コピー)が大きいイントラ/インタークラスタコピーのために使用されるツールです。 MapReduceを使用して配布、エラー処理と回復、およびレポートを実行します。これは、ファイルとディレクトリのリストを、ソースリストに指定されたファイルのパーティションをコピーするマップタスクへの入力に展開します。
hadoop fs -put
またはhdfs dfs -put
は完全にHDFSで実装されており、MapReduceは不要です。