hdfsからファイルを読む方法

Question

私は、/ project1ディレクトリの下にあるhadoopファイルのシステムにテキストファイル名mr.txtを持っています。 mr.txtファイルをローカルにダウンロードせずに、テキストファイルの最初の行を読むためにPythonコードを書く必要があります。しかし、私はhr.fsからmr.txtファイルを開くのが難しいです。 私が試した：

open('hdfs:///project1/mr.txt','r') 

Answer 1

PySparkがインストールされています。

text = sc.textFile('hdfs:///project1/mr.txt') 
first_line = text.first() 

Answer 2

をお使いのソフトウェアがあるか、それが実行された場合どのように詳細に知らない...

をローカルにそれにHDFSのボリュームとアクセスをマウントすることができますので、あなたがNFS serverを使用することができます。このオプションがニーズに合わない場合は、Hadoop Streamingを使用してください。最後に、あなたがSparkの仕事を書いているのなら、あなたのローカルFSのようにHDFSにアクセスできます。