2016-06-17 4 views
0

私のローカルのWindowsマシンまたはローカルのLinuxマシンからクラウド上のhdfsにファイルをコピーするための解決策を見つけようとしています。ファイルをhaddopクラスタ(リモートウィンドウマシン)からhdfsにアップロードする

は、私は一つの解決策、

remote -> cluster node (using scp)

node -> hdfs (using hdfs command)

を知っている。しかし、私のユースケースのためにそれは作品は、私は、色相が、アップロードの場合と同様に、直接HDFSにローカルからファイルをアップロードする解決策を見つける必要がありません。

私はまた、次のエラーによってコマンド

hdfs dfs -copyFromLocal file:://<'local-host'>:<'local-path'> hdfs://<'hdfs-path'>

しかし、それを試してみました次:

copyFromLocal: `<'local-path'>': No such file or directory

任意の提案は理解されるであろう。

-Thanks

Vikash

答えて

0

あなたが応答をありがとうHDFSに最初のディレクトリを作成し、次に、

hadoop fs -put /path/in/linux /hdfs/path 

または

hadoop fs -copyFromLocal /path/in/linux /hdfs/path 
+0

それに参照してください。 これは、ローカルLinuxのhdfsには正しいですが、私の質問は、リモートのWindowsマシンからhdfsにコピーすることです。 –

+0

'cat | ssh username @ masternode "hadoop dfs -put - hadoopFoldername /" 'これをチェックする:[Hadoop - 外部マシンからhdfsに直接コピーする](http://one-line-it.blogspot.de/2013/05/hadoop-copy -directly-to-hdfs-from.html) –

+0

私は色相の実装を考え出しました。ファイル/ sをリモートロケーションからhdfsに直接コピーすることはできません。 ファイルをステージング場所にコピーし、hdfsに移動する必要があります。 ここでは1つのパスしかありません リモート - >クラスタノード(scp使用) ノード - > hdfs(hdfsコマンドを使用) –

関連する問題