ローカルディレクトリ全体をHDFSにコピーできるHDFS APIはありますか?私はファイルをコピーするためのAPIを見つけましたが、ディレクトリ用のAPIはありますか?Hadoopはディレクトリをコピーしますか?
19
A
答えて
15
Hadoop FS shellを使用してください。具体的に:あなたは、プログラムでそれを行う2つのファイルシステム(ローカルおよび1 HDFS 1)を作成し、the FileUtil class
10
を使用したい場合は
$ hadoop fs -copyFromLocal /path/to/local hdfs:///path/to/hdfs
私はそれを与えた
/hadoop/core/bin/hadoop fs -copyFromLocal /home/grad04/lopez/TPCDSkew/ /export/hadoop1/lopez/Join/TPCDSkew
を使用して、ディレクトリからコピーしてみました私はTargetがディレクトリだと言っているエラーです。私はそれを
/hadoop/core/bin/hadoop fs -copyFromLocal /home/grad04/lopez/TPCDSkew/*.* /export/hadoop1/lopez/Join/TPCDSkew
に変更しました。
0
プログラマーにとっては、copyFromLocalFileも使用できます。ここでは一例です:
Hadoopのバージョンでimport org.apache.hadoop.conf.Configuration
import org.apache.hadoop.fs.FileSystem
import org.apache.hadoop.fs.Path
val hdfsConfig = new Configuration
val hdfsURI = "hdfs://127.0.0.1:9000/hdfsData"
val hdfs = FileSystem.get(new URI(hdfsURI), hdfsConfig)
val oriPath = new Path("#your_localpath/customer.csv")
val targetFile = new Path("hdfs://your_hdfspath/customer.csv")
hdfs.copyFromLocalFile(oriPath, targetFile)
2
:
Hadoop 2.4.0.2.1.1.0-390
(そしておそらく後に、それは私が持っているものですと私は、この特定のバージョンをテストしている)
コピーすることができますを使用してディレクトリ全体を再帰的に再帰的に使用します。たとえば、
hadoop fs -copyFromLocal /path/on/disk /path/on/hdfs
は、/path/on/disk
がサブディレクトリとファイルを含むディレクトリであっても動作します。
関連する問題
- 1. ブロックレベルでHadoop Distcpをコピーしますか?
- 2. ディレクトリ内のファイルのみをコピーします。ディレクトリはコピーしません。
- 3. hadoop-streamingにファイルではないディレクトリを渡しますか?
- 4. hadoopローカルファイルをHadoop SFエラーにコピーする
- 5. hadoopのnamenodeディレクトリは、失敗後に同期しますか?
- 6. Grunt:ディレクトリ名が動的なディレクトリをコピーしますか?
- 7. ローカルからhadoop環境へのhadoopサンプルjarのコピー方法は?
- 8. Yeomanタスクはディレクトリをコピーしません
- 9. ファイルをHDFS Hadoopにコピー
- 10. Amazon S3からhadoopにファイルをコピー
- 11. Grunt.jsコピーを使用して、ディレクトリから別のディレクトリにすべてのファイルをコピーします。
- 12. Python/Ubuntu - ディレクトリを新しいディレクトリにコピーします(不正なディレクトリパスですか?)
- 13. ワイルドカードを使用したHadoop HDFSコピー?
- 14. のHadoopは、リモートサーバにファイルをコピー
- 15. Hadoop 2.7.2シングルノードインストールubuntu src-codeに/ etc/hadoopディレクトリがありません
- 16. MacにDjangoをディレクトリにコピーしてインストールしますか?
- 17. 分散キャッシュを使用してHadoopにファイルのディレクトリを追加しますか?
- 18. Hadoop DFSが現在のディレクトリを指しています
- 19. Sconsは、ディレクトリをビルドするためにヘッダファイルをコピーします。
- 20. Perlがあるディレクトリから別のディレクトリにファイルをコピーしています
- 21. Cloudera Hadoopから指定した日数のディレクトリを削除します
- 22. ファイルやディレクトリは、HadoopのHDFSに
- 23. Powershellはcsvのリストを使ってディレクトリをコピーします
- 24. django良いスタイル:ローカルプロジェクトに内蔵ディレクトリをコピーしますか?
- 25. ファイルをランダムなディレクトリにコピーしますか?
- 26. postgresql/baseディレクトリをDBバックアップとしてコピーできますか?
- 27. clouderaのローカルファイルシステムからhadoop/hdfsにファイルをコピーできません
- 28. FluentMigrator.Runnerは出力ディレクトリに32bitアセンブリをコピーします
- 29. PythonとParamikoはターゲットマシンにディレクトリをコピーします
- 30. Hadoopはディレクトリに時刻を設定できません、なぜですか?
私はこれをプログラム的に行う必要があります。シェルからではなく – rakeshr
OK、私はFileUtilを使ってそれを行う方法を追加しました。 –
hadoop fsはファイル共有からコピーをサポートできますか?私はそれをすることに成功しません – machinarium