Scala Iterable [tuple]をRDDに変換

Question

私はスパークRDDに変換したいタプル（String、String、Int、Double）のリストを持っています。

一般に、Scala Iterable [（a1、a2、a3、...、an）]をSpark RDDに変換するにはどうすればよいですか？

Answer 1

そこには、これを行うにはいくつかの方法がありますが、ほとんどの海峡進むべき道はただスパークコンテキストを使用することです：

import org.apache.spark._ 
import org.apache.spark.rdd._ 
import org.apache.spark.SparkContext._ 

sc.parallelize(YourIterable.toList) 

私はsc.Parallelizeリストに変換が必要だと思いますが、それはあなたの構造を保持しますしたがって、あなたはまだRDDを取得します。[String、String、Int、Double]