for scala sparkの場合のループの問題

Question

rddsのフィールドをキーで比較し、一致しない配列フィールドに値を設定しようとしますが、forループを使用できません。

ループのための第一フィールドチェックのために働いて、コメントされたコードの下

が、私はそのループのために仕事をするためにどのようにすべてのフィールドの比較

に任意のアイデアをカバーするためにforループを使用したいのすべてのフィールドとなるよう、 bは等しくないことができますか？

---a is of String type 
---b is of Array[String] type 
---c is of Array[String] type 

var i=0 
val joinedrdd = rdds1.join(rdds2) 
val res= joinedrdd.map { 
    case (a, (b, c)) => (
    //for (i <- 0 until (b.length - 1)){ 
     if (b(i).toString != c(i).toString) 
     {(a, b(i), c(i))} 
    //} 
    ) 
} 

Answer 1

私にはわからない、他のより効率的なアプローチがあるかもしれません。しかし、zipとArrayとmapの2つの値があり、それらが異なるかどうかを調べ、そうであれば戻り値を置き換えます。それ以外の場合は値を返します。

jrdd.map { 
    case (id, (xs, ys)) => (id, xs.zip(ys).map { 
    case (x, y) if x == y => x // if x = y return x or y 
    case _ => "random" // if they differ then return random 
    }) 
} 

私はちょうどhereのことを見て/テストすることができます。