fsimageからファイルのファイル名とサイズを調べる方法は？

Question

HDFSでブロックサイズ未満のファイルを検索しようとしています。

OIVを使用することによって、以下のような区切り文字を含むテキストファイルにfsimageを変換しました。

hdfs oiv_legacy -i /tmp/fsimage -o /tmp/fsimage_$RUNDATE/fsimage.txt -p Delimited -delimiter '@'

fsimageは、大量のデータを持っているので。これからHDFSの各ファイルのファイル名とファイルサイズを調べる方法。

誰でも助けてください。

事前に感謝しますが....

Answer 1

このdocumentationの最後にあるスクリプトをご覧ください。始まっ

：

A = LOAD '$inputFile' USING PigStorage('\t') AS (path:chararray, 
               replication:int, 
               modTime:chararray, 
               accessTime:chararray, 
               blockSize:long, 
               numBlocks:int, 
               fileSize:long, 
               NamespaceQuota:int, 
               DiskspaceQuota:int, 
               perms:chararray, 
               username:chararray, 
               groupname:chararray); 

-- Grab the pathname and filesize 
B = FOREACH A generate path, fileSize; 

-- Save results 
STORE B INTO '$outputFile'; 

Answer 2

hadoop fs -find /tmp/fsimage size 64 -print 

注：そのClouderaの、Hortonworks場合、私は警戒MAPR Hadoop.The構文を使用していかもしれません。