は、私はここで何が起こっているのか知らないが、私はHDFSに指定したディレクトリに私のローカルファイルシステム内のディレクトリから、単純なファイルをコピーしようとしていますcopyFromLocalスイッチに

Question

を使用してHDFSにデータを移動します。私は、次のコマンドを使用しています

<name>dfs.data.dir</name> 
<value>/home/vaibhav/Hadoop/dataNodeHadoopData/</value> 

and 

<name>dfs.name.dir</name> 
<value>/home/vaibhav/Hadoop/dataNodeHadoopData/</value> 

- - 私はHDFSのディレクトリは/ホーム/バイバブ/ Hadoopの/ dataNodeHadoopDataは、次のプロパティを使用してなることを指定している私には

HDFS-site.xmlの

それから、ファイルu.dataをコピーする

bin/hadoop dfs -copyFromLocal /home/vaibhav/ml-100k/u.data /home/vaibhav/Hadoop/dataNodeHadoopData 

は、私はHDFSディレクトリとして指定されたディレクトリにローカルのファイルシステムの場所です。しかし、私がこれをすると、何も起こりません。エラーも何もありません。そして、hdsfにコピーされるファイルはありません。私は何か間違っているのですか？すべての権限の問題がありますか？

提案が必要です。

私は擬似分散シングルノードモードを使用しています。

また、関連するノートでは、map reduceプログラムでinputfilePath /home/vaibhav/ml-100k/u.dataを指すように設定していることを伺いたいと思います。それで、自動的に与えられた場所からhdfsにファイルをコピーしないでしょうか？

Answer 1

私はdfs.data.dirとdfs.name.dirは、2つの異なる既存のディレクトリを指すように持っていると信じています。さらに、構成内のディレクトリーを変更した後に、namenode FSをフォーマットしたことを確認してください。

HDFSにコピーするときに、ターゲットを間違って指定しています。 HDFSにローカルファイルをコピーするための正しい構文は次のとおりです。

bin/hadoop dfs -copyFromLocal <local_FS_filename> <target_on_HDFS> 

例：

bin/hadoop dfs -copyFromLocal /home/vaibhav/ml-100k/u.data my.data 

これは、HDFSで、ユーザーのホームディレクトリにファイルmy.dataを作成します。 ファイルをHDFSにコピーする前に、まずディレクトリの内容とディレクトリの作成をマスターしてください。