hdfs3でファイルを読み込めません。

Question

hdfs3モジュールを使用してPythonでHDFS上のファイルを読み込もうとしています。

import hdfs3 
hdfs = hdfs3.HDFileSystem(host='xxx.xxx.com', port=12345) 
hdfs.ls('/projects/samplecsv/part-r-00000') 

これは、だから、HDFSにアクセスし、ディレクトリ構造を読み取ることができるようです

[{'block_size': 134345348, 
    'group': 'supergroup', 
    'kind': 'file', 
    'last_access': 1473453452, 
    'last_mod': 1473454723, 
    'name': '/projects/samplecsv/part-r-00000/', 
    'owner': 'dr', 
    'permissions': 420, 
    'replication': 3, 
    'size': 98765631}] 

を生成します。ただし、ファイルの読み取りは失敗します。

with hdfs.open('/projects/samplecsv/part-r-00000', 'rb') as f: 
    print(f.read(100)) 

が問題である可能性があり何

--------------------------------------------------------------------------- 
OSError         Traceback (most recent call last) 
<ipython-input-94-46f0db8e87dd> in <module>() 
     1 with hdfs.open('/projects/samplecsv/part-r-00000', 'rb') as f: 
----> 2  print(f.read(100)) 

/anaconda3/lib/python3.5/site-packages/hdfs3/core.py in read(self, length) 
    615      length -= ret 
    616     else: 
--> 617      raise IOError('Read file %s Failed:' % self.path, -ret) 
    618 
    619   return b''.join(buffers) 
OSError: [Errno Read file /projects/samplecsv/part-r-00000 Failed:] 1 

を与えますか？私はPython3.5を使用しています。

Answer 1

ファイルに対して操作を行う場合は、完全なファイルパスを渡す必要があります。場合

import hdfs3 
hdfs = hdfs3.HDFileSystem(host='xxx.xxx.com', port=12345) 
hdfs.ls('/projects/samplecsv/part-r-00000') 

#you have to add file to location 
hdfs.put('local-file.txt', '/projects/samplecsv/part-r-00000') 

with hdfs.open('projects/samplecsv/part-r-00000/local-file.txt', 'rb') as f: 
    print(f.read(100)) 

Answer 2

あなたはHDFSから複数のファイルを読みたい場合は、例の下に試すことができdirecotory：

import hdfs3 
    hdfs = hdfs3.HDFileSystem(host='xxx.xxx.com', port=12345) 
    hdfs.ls('/projects/samplecsv/part-r-00000') 

    #you have to add file to location if its not present. 
    hdfs.put('local-file.txt', '/projects/samplecsv/part-r-00000') 

    file_loc = '/projects/samplecsv/part-r-00000' 
    for file in hdfs.glob(os.path.join(file_loc , '*.txt')): 
     with hdfs.open(file) as f: 
      print(f.read(100))