0バイトのhadoopファイルを削除します

Question

私はhadoop 2.xでhdfsのゼロバイトのファイルを削除するコマンドを探しています。 いずれか私は適切なコマンドを教えてください。 私はhdfsで0バイトのファイルを見つけようとしていて、それらをディレクトリから削除しようとしています。ステップバイ

Answer 1

for f in $(hdfs dfs -ls -R/| awk '$1 !~ /^d/ && $5 == "0" { print $8 }'); do hdfs dfs -rm "$f"; done 

ステップ：

hdfs dfs -ls -R / - ないディレクトリやサイズを0

for f in $(...); do hdfs dfs -rm "$f"; doneであるそれらのフルパスを印刷する - - 再帰的

awk '$1 !~ /^d/ && $5 == "0" { print $8 }')は、HDFS内のすべてのファイルを一覧表示し、反復

を削除

Answer 2

Kombajnの回答に基づいて、たくさんのファイルを削除するとクイーンになるckerはxargsを使用します。これにより、hdfsコマンドごとに複数のファイルを削除することができます。これはかなり高価です。

hdfs dfs -ls -R/| awk '$1 !~ /^d/ && $5 == "0" { print $8 }' | xargs -n100 hdfs dfs -rm