私はこれを行うことができます知っているサブディレクトリ

Question

のリストを取得します。それをしてもいいですか？言い換えれば

、私が欲しいのはこのようなものです：

subdirectories = magicFunction() 
for subdir in subdirectories: 
    data sc.textFile(subdir) 
    data.count() 

---

私が試した：それは、ローカルディレクトリで検索しているため、

In [9]: [x[0] for x in os.walk("/hadoop_foo/")] 
Out[9]: [] 

が、私はそれが失敗だと思います（ゲートウェイの場合）、「/ hadoop_foo /」はhdfsにあります。 "hdfs：/// hadoop_foo /"と同じです。コード内

hadoop dfs -lsr /hadoop_foo/ 

---

Correct way of writing two floats into a regular txtから..：：実行するための方法があるかどう

---

How can I list subdirectories recursively for HDFS?を読んだ後、私は疑問に思って

In [28]: os.getcwd() 
Out[28]: '/homes/gsamaras' <-- which is my local directory 

Answer 1

Pythonを使用して012を使用するモジュール; walk()メソッドを使用すると、ファイルのリストを取得できます。

コードは次のようになりsould：スカラ座で

from hdfs import InsecureClient 

client = InsecureClient('http://host:port', user='user') 
for stuff in client.walk(dir, 0, True): 
... 

あなたはファイルシステム（val fs = FileSystem.get(new Configuration())）を取得し、あなたがまたしてあなたのスクリプトからシェルコマンドを実行することができ

https://hadoop.apache.org/docs/r2.4.1/api/org/apache/hadoop/fs/FileSystem.html#listFiles(org.apache.hadoop.fs.Path、boolean）を実行することができますos.subprocessしかし、ここでシェルユーティリティのテキスト出力に依存するので、これは決して推奨される方法ではありません。最終的に、どのようなOPのために働いたことはsubprocess.check_output()を使用していた

---

：または[タグ：パイソン]：

subdirectories = subprocess.check_output(["hadoop","fs","-ls", "/hadoop_foo/"])