Hadoop -getmergeの仕組みは？

Question

のHadoop getmergeの説明では

使用法：HDFS DFS -getmerge SRC localdst [addnl]

自体をHDFSない理由getmergeはローカルの宛先に連結されている理由私の質問はありますか？この問題は次のような問題があるため質問されました

1. マージするファイルがローカルのサイズを超えている場合はどうなりますか？
2. hadoop-getmergeコマンドをローカル宛先にのみ連結するように制限する理由はありますか？

Answer 1

getmergeコマンドは、HDFSのファイルをローカルファイルシステム上の1つのファイルにマージするために作成されています。

このコマンドはMapReduceジョブの出力をダウンロードするのに非常に便利です。これは、複数のpart- *ファイルを生成し、それらをローカルに単一のファイルに結合する可能性があります。プレゼンテーション用のExcelシート）。ご質問

回答：

1. 先のファイルシステムに十分なスペースがない場合は、その後、IOExceptionがスローされます。 getmergeは内部でIOUtils.copyBytes()（IOUtils.copyBytes()参照）機能を使用して、HDFSからローカルファイルに一度に1つのファイルをコピーします。この関数は、コピー操作でエラーが発生するたびにIOExceptionをスローします。

2. このコマンドは、HDFSからローカルファイルシステムにファイルを取得するコマンドhdfs fs -getと同様の行です。相違点のみhdfs fs -getmergeは、HDFSからローカルファイルシステムに複数のファイルをマージします。あなたはHDFSで複数のファイルをマージしたい場合は、FileUtilクラス（FileUtil.copyMerge()を参照）からcopyMerge()メソッドを使用して、それを達成することができます

。

このAPIは、ディレクトリ内のすべてのファイルを1つのファイルにコピーします（すべてのソースファイルをマージします）。