1
RDDを使ってrdd.saveAsTextFile('directory')を出力すると、ファイルはhdfs://directoryに保存されます。テキストファイルをローカルファイルシステムのディレクトリに直接保存することができますか（すなわちdirectory）？テキストファイルをSparkから直接ローカルファイルシステムに出力できますか？
A
答えて
1
もちろん、saveAsTextFile（ 'directory'）はパーティショナーと同じ数のファイルを保存するので、ローカルにコピーする前にファイルをマージする必要はありません（各ファイルをローカルにコピーしない限り）。したがって、最初の
FileUtil.copyMerge(sourceFileSystem, new Path(sourceFullPath), destFileSystem, new Path(destinationFullPath), true, sparkContext.hadoopConfiguration, null)
を呼び出し、その後の
FileSystem fs = FileSystem.get(yourConfiguration)
fs.copyToLocalFile(true, destinationFullPath, localFilePath)
関連する問題
- 1. Spark-Scalaの出力をテキストファイルに書き込む
- 2. テキストボックスのテキストをHTMLページに直接出力しますか？
- 3. Sparkでテキストファイルから複数行レコードを抽出する方法
- 4. XMLをテキストファイルに出力しますか？
- 5. Golangのドッカーイメージからローカルファイルシステムにファイルを引き出す
- 6. python/ipython入出力をテキストファイルにリダイレクトできますか？
- 7. フォーマット化されたテキストをテキストファイルに出力できますか？
- 8. 出力テキストの色をテキストファイルに調整できますか？
- 9. データベースからのテーブルまたはストアドプロシージャを直接Excelファイルに出力する
- 10. JSはデータベースに直接出力しますか？
- 11. ffmpegをHDFSに直接出力する
- 12. Scala/SparkでHDFSからテキストファイルを読む
- 13. couchbase liteデータベースにバンドルから直接アクセスできますか？
- 14. curl_execは直接データを出力していますか？
- 15. STLベクトルのイテレータ値を直接出力できません
- 16. XNA - Windowsのスピーカー出力から直接読む
- 17. Mapperの出力が出力ファイルに直接出力されます
- 18. core.logicをJavaから直接使用できますか？
- 19. GDI +ビットマップから直接BitBltを実行できますか？
- 20. node.jsから.coffeeファイルを直接実行できますか？
- 21. モバイルから直接woocommerce REST APIを使用できますか？
- 22. SwiftからC++を直接使用できますか？
- 23. tar.gzアーカイブから直接htmlファイルを実行できますか？
- 24. XNA：タイルセットから直接タイルを引き出す方法はありますか？
- 25. テキストファイルから出力ファイルにデータを抽出する
- 26. 直接出力を使用してJSONをPHPからJavascriptに渡す
- 27. FFmpeg出力をAmazon S3に直接アップロード
- 28. dbからデータを直接取り出すのではなく、dbから直接エンティティをロードする
- 29. ローカルホストのSparkからOpenfireに接続できません
- 30. 入力フィールドの値をreduxストアから直接入力する
可能な複製を使用（http://stackoverflow.com/questions/31239161/save- [Javaを使用してローカルファイルシステムにスパークRDDを保存] a-spark-rdd-to-the-local-file-system-using-java） – DNA