2013-02-17 13 views
22

おそらくnoobの質問ですが、hdfsのファイルの内容をローカルにコピーしてunixを介して読むのに加えて読む方法がありますか?hdfsのファイルの内容を表示するhadoop

だから今、私がやっているものです:私はローカルでそれをコピーし、それを開くのではなく、HDFSに直接ファイルを開くことができる場合、私は疑問に思って

bin/hadoop dfs -copyToLocal hdfs/path local/path 

    nano local/path 

。私はhadoop fs -cat <file>は仕事をするべきだと考え

おかげ

答えて

3
hadoop dfs -cat <filename> or hadoop dfs -cat <outputDirectory>/* 
8

ファイルサイズが(時間のほとんどの場合になる)巨大である場合は、「猫」を行うことで、あなたのファイルの内容全体をスローすることによって、あなたの端末を爆破する必要はありません。代わりに、配管を使用してファイルのわずかな行を取得します。

ファイルの最初の10行を取得するには、hadoop fs -cat 'file path' | head -10

ファイルの最後の5行を取得するには、hadooop fs -cat 'file path' |尾-5

2

あなたはHadoopの2.xのを使用している場合、あなたは

hdfs dfs -cat <file> 
を使用することができます