スパークrddの要素を追加

Question

私はRDD [Array [Array [Double]]のRDDを持っています。基本的に各要素は行列です。私は要素の賢明な追加を行う必要があります。

のでRDDの最初の要素は

1 2 
    3 4 

ある場合と第2の要素は、私はZIPに見ている私は

6 8 
    10 12 

を有する必要が終わりに

5 6 
    7 8 

あります私はこの場合に使用できるかどうかはわかりません。

Answer 1

はい、あなたは、zipファイルを使用できますが、列のため、一度行とのために1回、2回、それを使用する必要があります：

val rdd = sc.parallelize(List(Array(Array(1.0,2.0),Array(3.0,4.0)), 
           Array(Array(5.0,6.0),Array(7.0,8.0)))) 

rdd.reduce((a,b) => a.zip(b).map {case (c,d) => c.zip(d).map{ case (x,y) => x+y}})