HadoopのDistribuitedCacheに類似した各ノードからファイルを読み込みます。

Question

各ノードが読み取る必要のあるファイルがマスターノードにあります。どうすればこれを可能にすることができますか？ HadoopのMapReduceでは私が使ったのは

DistribuitedCache.getLocalCacheFiles(context.getConfiguration()) 

どのようにしてノード間のファイル共有ができますか？ RAMとブロードキャスト変数にファイルをロードする必要がありますか？または、SparkContext設定でファイルのパス（絶対パス）を指定するだけで、すべてのノードで即座に使用できるようにできますか？

Answer 1

分散キャッシュからファイルを読み込むためにSparkFilesを使用できます。ここでは、例えば、 "ファイル" パラメータを提出スパークの

import org.apache.spark.SparkFiles 
import org.apache.hadoop.fs.Path 

sc.addFile("/path/to/file.txt") 
val pathOnWorkerNode = new Path(SparkFiles.get("file.txt")) 

Answer 2

ルック：

Running Spark jobs on a YARN cluster with additional files