WindowsからのrxHadoopCopyFromLocal

Question

WindowsからリモートHDFSにコピーする正しい構文は何ですか？

私はこれが

copyFromLocal '/path/to/file.csv': no such file or directory` 

お知らせCスローRStudio

rxHadoopCopyFromLocal("C:/path/to/file.csv", "/target/on/hdfs/") 

を使用してリモートHadoopクラスタに自分のローカルマシンからファイルをコピーしようとしている：/消えたを。

この構文も、これはよくある間違いであるエラー

-copyFromLocal: Can not create a Path from a null string 

Answer 1

で

rxHadoopCopyFromLocal("C:\\path\\to\\file.csv", "/target/on/hdfs/") 

を失敗しました。

rxHadoopCopyFromLocalコマンドは、hdfs fs -copyFromLocalのラッパーです。ローカルファイルシステムからhdfsターゲットにコピーするだけです。

この場合、rxSetComputeContext(remotehost)はリモートクラスタに設定されています。リモートマシンでは、C：\ path \ to \ file.csvはありません

ここにファイルを取得する方法はいくつかあります。

リモートのHDFSクラスタの設定ローカルHDFS-site.xmlの

• リモートクラスタを指すように、ローカルマシン
• 編集し、ローカルHDFS-site.xmlの上のHadoopツールをインストールしていることを確認
• 確認rxSetComputeContext("local")
• 実行rxHadoopCopyFromLocal("C:\local\path\to\file.csv", "/target/on/hdfs/")

SCPとリモートの計算コンテキスト

• はscp C:\local\path\to\file.csv user@remotehost:/tmp
• でリモートマシンにファイルをコピーしrxSetComputeContext(remotehost)
• 実行rxHadoopCopyFromLocal("/tmp/file.csv", "/target/on/hdfs/")

Answer 2

dev version of dplyrXdfは今HDFS内のファイルをサポートして確認してください。ネイティブファイルシステムから次のようにファイルをアップロードできます。これは、リモートクライアントからのエッジノードとの両方から機能します。

hdfs_upload("c\\path\\to\\file.csv", "/target/on/hdfs") 

あなたがアップロードしたいデータセット（Rオブジェクトを）持っている場合は、標準のdplyr copy_to動詞を使用することができます。これにより、データがXdfファイルにインポートされ、アップロードされ、アップロードされたファイルを指すRxXdfDataデータソースが返されます。

txt <- RxTextData("file.csv") 
hd <- RxHdfsFileSystem() 
hdfs_xdf <- copy_to(hd, txt, name="uploaded_xdf")