foreach
を使わずに、sc.textFile
(スカラー)にパスのリストを渡す方法を探しています。リストをsc.textFileに渡す-scala-
例:
var data = sc.textFile(myList)
foreach
を使わずに、sc.textFile
(スカラー)にパスのリストを渡す方法を探しています。リストをsc.textFileに渡す-scala-
例:
var data = sc.textFile(myList)
はまた
var data = sc.textFile(myList.mkstring(","))
を試してみてくださいそして、私たちはそれぞれのテキストファイルを読み取ることができ、union
:
myList :Seq[String] = ArrayBuffer (path1, path2, path3)
が行う方法はあります結果としてrdds:
import scala.util.{Try, Success}
val rdds = myList.flatMap { f =>
Try(sc.textFile(f)) match {
case Success(rdd) => Some(rdd)
case _ => None
}
}
val rdd = sc.union(rdds)
このようなことはありません。 http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.SparkContext –