スパーク：複数のアレイへの入力の分割

Question

スパークおよびスカラの新機能。収集した後val x = sc.parallelize(1 to 10, 3)

O/P：

入力：私はこれを達成することができますどのようにチェックする必要があり

Array[Int] = Array(1,2,3,4,5)) 

Array[Int] = Array(2,4,6,8,10) 

Answer 1

は、私は、これはあなたが

val evens = x.filter(value => value % 2 == 0) 
val odds = x.filter(value => value % 2 != 0) 

探しているものだと思いますありがとう

出力：

scala> evens.foreach(println) 
4 
6 
2 
8 
10 

scala> odds.foreach(println) 
5 
1 
3 
7 
9 

Answer 2

これはあなたの質問に応じて理解するのに役立つと思います。

val spark = 
    SparkSession.builder().master("local").appName("test").getOrCreate() 

    import spark.implicits._ 

    val data = spark.sparkContext.parallelize(1 to 10, 3) 

    data.filter(_ < 6).collect().foreach(println) 

出力

1 
2 
3 
4 
5 

    data.filter(_%2 == 0).collect().foreach(println) 

出力

2 
4 
6 
8 
10