ファイルリスト付きのHadoop distcp

Question

distcpを使用して、ファイルリスト（1Kファイル以上）をhdfsにコピーしたいと考えています。私はすでにローカルディレクトリにファイルのリストを格納していますが、今は-fを使ってすべてのファイルをコピーできますか？はいの場合、ファイルリストファイルでどのようなフォーマットを維持する必要がありますか？それとももっと良い方法がありますか？

Answer 1

ユースケースがローカルファイルシステム（Linuxなど）からHDFSにデータをコピーする場合は、distcpを使用する必要はありません。あなたは同じためにhdfs dfs -putコマンドを単に使うことができます。ここに構文があります。

hdfs dfs -put /path/to/local/dir/* /path/on/hdfs/

例えば

hdfs dfs -mkdir /user/hduser/destination-dir/

hdfs dfs -put /home/abc/mydir/* /user/hduser/destination-dir/

あなたはファイルパスのリストを含むファイルを作成しているが、それは全く必要ではありません。あるクラスタから別のクラスタにデータをコピーするときに、主に（distcpのために）使用されます。