スパークリモートサーバーからファイルを読み取る

私は1つのノードスパーククラスターを持ち、WholeTextFile APIまたはTextfile APIを使用してファイルを読み取り、解析します。スパークリモートサーバーからファイルを読み取る

sparkがリモートサーバーからファイルを読み取ることを許可することは知っていますか？ Sparkノードにファイルが物理的に存在する必要があります。

2017-03-28 AKC

あなたはスパークストリーミングに見たいと思うでしょうし、リモートファイルを読み込むことができますが、はい、リモートファイルの読み取りが可能です。 –

JavaStreamingContextでbinaryFiles APIまたはWholeTextFileを使用しているときに、この例を教えてください。 – AKC

あなたはFTP

import org.apache.spark.SparkFiles 
val filePath = "ftp://user:pwd/myhost/map/myinput.nt" 
sc.addFile(filePath) 
var fileName = SparkFiles.get(filePath.split("/").last) 
var file = sc.textFile(fileName)

出典

2017-03-28 16:52:23 BDR

FTPは、マシンをスパークするためにファイルをダウンロードしていることを意味しますか？もしそうなら、私は私の仕事が完了した後、スパークマシンからそれらを削除する必要がありますか？私の理解は正しいですか？ – AKC

スパークリモートサーバーからファイルを読み取る

答えて

関連する問題