スパーク・スカラ・シェルの並列化コレクション

Question

タプルを並列化してエラーを取得しようとしています。配列を必要とするあなたの

Answer 1

メソッドの並列化をありがとう、私はそれが 構文以下

エラーです教えてください。 seqの各項目は1つのレコードになります。あなたの例では

def parallelize[T](seq: Seq[T], 
    numSlices: Int = defaultParallelism) 
    (implicit arg0: ClassTag[T]): RDD[T] 

は、あなたはタプルをラップするために配列を追加する必要があり、この場合にはRDDは、1つのレコードのみを持っている

scala> val rdd = sc.parallelize(Seq(("100", List("5", "-4", "2", "NA", "-1")))) 
rdd: org.apache.spark.rdd.RDD[(String, List[String])] = ParallelCollectionRDD[2] at parallelize at <console>:24 

scala> rdd.count 
res4: Long = 1