Spark SparkPiの例

Question

Sparkのディストリビューションに付属するSparkPiの例では、RDD上にreduceがあります（各スライスは合計を計算します）。

val count: Int = spark.sparkContext.parallelize(1 until n, slices).map { i => 
    val x = random * 2 - 1 
    val y = random * 2 - 1 
    if (x*x + y*y < 1) 1 else 0 
}.reduce(_ + _) 

Answer 1

はい、そうです。

デフォルトでは、この例は2つのスライスで動作します。その結果、あなたのコレクションは2つの部分に分割されます。その後、Sparkはmap変換と各パーティション上のreduceアクションを並列に実行します。最後に、Sparkは個々の結果を最終値にマージします。

デフォルトの設定を使用してこの例を実行すると、コンソール出力に2つのタスクが表示されます。