私のローカルのWindowsマシンまたはローカルのLinuxマシンからクラウド上のhdfsにファイルをコピーするための解決策を見つけようとしています。ファイルをhaddopクラスタ(リモートウィンドウマシン)からhdfsにアップロードする
は、私は一つの解決策、
remote -> cluster node (using scp)
node -> hdfs (using hdfs command)
を知っている。しかし、私のユースケースのためにそれは作品は、私は、色相が、アップロードの場合と同様に、直接HDFSにローカルからファイルをアップロードする解決策を見つける必要がありません。
私はまた、次のエラーによってコマンド
hdfs dfs -copyFromLocal file:://<'local-host'>:<'local-path'> hdfs://<'hdfs-path'>
しかし、それを試してみました次:
copyFromLocal: `<'local-path'>': No such file or directory
任意の提案は理解されるであろう。
-Thanks
Vikash
それに参照してください。 これは、ローカルLinuxのhdfsには正しいですが、私の質問は、リモートのWindowsマシンからhdfsにコピーすることです。 –
'cat | ssh username @ masternode "hadoop dfs -put - hadoopFoldername /" 'これをチェックする:[Hadoop - 外部マシンからhdfsに直接コピーする](http://one-line-it.blogspot.de/2013/05/hadoop-copy -directly-to-hdfs-from.html) –
私は色相の実装を考え出しました。ファイル/ sをリモートロケーションからhdfsに直接コピーすることはできません。 ファイルをステージング場所にコピーし、hdfsに移動する必要があります。 ここでは1つのパスしかありません リモート - >クラスタノード(scp使用) ノード - > hdfs(hdfsコマンドを使用) –