hadoop streaming無効なDFSディレクトリ名

Question

私はまだhadoopで新しく、this exampleを取得しようとしていました。

私はhadoopをセットアップして、wordcountmapreduceの例を実行できましたが、すべて正常です。私はここでhadoop 2.6.0

を使用してwindows 7にhadoopstreaming commandを実行したときしかし、私はjava.lang.IllegalArgumentException: Invalid DFS directory name例外を取得しています私のコマンドです：

hadoop jar %HADOOP_PREFIX%\share\hadoop\tools\lib\hadoop-streaming-2.6.0.jar -mapper mapper.php -reducer reducer.php -input input/* -output output 

私が言うフォルダd:\hadoopからコマンドを実行すると表示されたエラーは次のようになります。

java.lang.IllegalArgumentException: Invalid DFS directory name /d:/hadoop 

出力ディレクトリは、エラーが表示され、ジョブが失敗する前に作成されます。

分散ファイルの場所を設定するコマンドを検索しようとしましたが、そのようなファイルが見つかりませんでした。

アドバイスをいただければ幸いです。

Answer 1

入力パスと出力パスは、local filesytemパスではなく、hdfsである必要があります。あなたはあるd:/hadoopとして入力パスを提供しているlocal filesystem

あなたが（彼らは通常/user/<hadoop username>に常駐）

は、次のコマンドを適用すると、あなたのすべてのディレクトリを与える必要があり、あなたのhadoop userがAhmedであると仮定すると、hdfsでパスを見つける必要がありますそしてhdfs家庭内のファイルは

hadoop dfs -ls 

に相当します

だから、HDFSファイルの場所を追跡し、（/user/Ahmed/inputを仮定すると、パスである）として-input argumentに渡しラメシュへ

hadoop jar %HADOOP_PREFIX%\share\hadoop\tools\lib\hadoop-streaming-2.6.0.jar -mapper mapper.php -reducer reducer.php -input /user/Ahmed/input 

Answer 2

おかげで私は私のHDFSコマンドは、現在のディレクトリにないHDFSの場所で実行されていたことに気づきました。だから、 "hdfs dfs -ls /"のようなコマンドは、hadoop分散ファイルシステム上のディレクトリではありません。

設定で問題があることが判明しました。 fs.defaultFSがcore-site.xmlとhdfs-site.xmlに正しく設定されていることを確認しなければなりませんでした。