2017-04-24 5 views
1

foreachを使わずに、sc.textFile(スカラー)にパスのリストを渡す方法を探しています。リストをsc.textFileに渡す-scala-

例:

var data = sc.textFile(myList)

+0

このようなことはありません。 http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.SparkContext –

答えて

0

はまた

var data = sc.textFile(myList.mkstring(",")) 

を試してみてくださいそして、私たちはそれぞれのテキストファイルを読み取ることができ、union

myList :Seq[String] = ArrayBuffer (path1, path2, path3)

が行う方法はあります結果としてrdds:

import scala.util.{Try, Success} 

val rdds = myList.flatMap { f => 
    Try(sc.textFile(f)) match { 
    case Success(rdd) => Some(rdd) 
    case _ => None 
    } 
} 
val rdd = sc.union(rdds) 
+0

'org.apache.hadoop.mapred.JobConf'がどのように使用されるかで動作するかもしれませんスパーク。しかし、私はそれを使用することをお勧めしていないと思う。 –

+0

ああ、ハングして、ファイルパスではなくディレクトリに対してのみCSVスタイルが機能するかもしれません。 – ImDarrenG

+0

@SarveshKumarSingh情報に基づいた判断を下すために参考にしてください。 – ImDarrenG

関連する問題