1つのHDFSディレクトリから別のHDFSディレクトリにデータを連続的にコピーする

Question

私は2日ごとにファイルを取得するディレクトリをhdfsに持っています。このディレクトリ内のすべてのファイルを別のディレクトリにコピーしたいのですが、新しいファイルが今日入ってくると、そのファイルを複製ディレクトリにコピーします。

これをHdfsでどうやって行うことができますか？

私はLinuxでrsyncを使ってこれを行うことができます。このようなHdfsのメソッドもありますか？

Answer 1

いいえ、HDFSで使用できるファイル同期方法はありません。 hdfs dfs -cpまたはhadoop distcpを手動またはスケジューラ（cron）で実行する必要があります。

ファイルの数が多い場合は、distcpが優先されます。送信元と宛先のサイズ、ブロックサイズ、またはチェックサムが異なる場合

hadoop distcp -update <src_dir> <dest_dir> 

-updateフラグを上書きします。