Sparkスタンドアロンクラスタはローカルファイルシステム内のファイルを読み取ることができません

Question

2つのワーカーノードと1つのマスターノードを持つSparkスタンドアロンクラスタがあります。

spark-shellを使って、私はローカルファイルシステム上のファイルからデータを読み込んだ後、いくつかの変換を行い、最終的なRDDを/ home/outputに保存しました（言います） RDDは正常に保存されました。ワーカーノードとマスターノードで_SUCCESSファイルしか存在しませんでした。

この出力データを/ home/outputから読み取る場合、マスター上で0データを取得しているのでデータが取得されていません。次に、他のワーカーノードをチェックしていないと仮定しています。

Sparkがすべてのワーカーノードから読み取っていない理由や、Sparkがワーカーノードからデータを読み取るために使用するメカニズムが何であるかについて、 HADOOP_CONF_DIR.Thisにデフォルトのポイントによって

scala> sc.textFile("/home/output/") 
res7: org.apache.spark.rdd.RDD[(String, String)] = /home/output/ MapPartitionsRDD[5] at wholeTextFiles at <console>:25 

scala> res7.count 
res8: Long = 0 

Answer 1

SparkContextすなわちSCは、一般的に、あなたがsc.textFile("/home/output/")を言うとき、それはあなたのケースでHDFS上に存在しないhdfs:///home/output、などDIR /ファイルを検索を意味し、hdfs://に設定されています。 file://はローカルファイルシステムを指しています

sc.textFile("file:///home/output")を試してください。そうすれば、Sparkにローカルファイルシステムからの読み取りを明示的に伝えます。

Answer 2

同じパスと名前を持つすべてのワーカーマシンにファイルを配置する必要があります。