webhdfsを使ってHDFSディレクトリの内容を表示するには？

Question

webhdfsを使用してHDFS内のディレクトリの内容をチェックすることはできますか？

これは通常hdfs dfs -lsとして動作しますが、代わりにwebhdfsを使用します。

webhdfsディレクトリをPython 2.6を使用してリストするにはどうすればよいですか？

Answer 1

動詞LISTSTATUSを使用できます。ドキュメントがList a Directoryであり、次のコードは、WebHDFS REST APIドキュメントで見つけることができます：

{ 
    "name"  : "FileStatuses", 
    "properties": 
    { 
    "FileStatuses": 
    { 
     "type"  : "object", 
     "properties": 
     { 
     "FileStatus": 
     { 
      "description": "An array of FileStatus", 
      "type"  : "array", 
      "items"  : fileStatusProperties 
     } 
     } 
    } 
    } 
} 

：

は

curl -i "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=LISTSTATUS" 

応答がFileStatuses JSONオブジェクトです：curlで

、これは次のようになります（itemsフィールド用） fileStatusProperties

このJSONスキーマを有する：

あなたはこのように、 pywebhdfsを使用してPythonでファイル名を処理することができ

：

import json 
from pprint import pprint 
from pywebhdfs.webhdfs import PyWebHdfsClient 

hdfs = PyWebHdfsClient(host='host',port='50070', user_name='hdfs') # Use your own host/port/user_name config 

data = hdfs.list_dir("dir/dir") # Use your preferred directory, without the leading "/" 

file_statuses = data["FileStatuses"] 
pprint file_statuses # Display the dict 

for item in file_statuses["FileStatus"]: 
    print item["pathSuffix"] # Display the item filename 

代わりのprint各オブジェクトをINGのあなたが必要として、あなたが実際にアイテムを扱うことができます。 file_statusesの結果は単なるPython dictなので、右のキーを使用すれば他のdictのように使うことができます。