スパークを使用：列1をビニングし、列1のビンに基づいて列2の平均を見つける

Question

私はスパークとスカラ言語を学んでいます。だから助けてください。私は（ヒストグラムのような統計、）ビン（ビンサイズ= 3）に私が持っている..カサンドラを照会から3列（C1、C2とC3）を取得し、Scalaのコードでデータフレームでそれを得ますc1であり、c1ビンにおける平均値はc2およびc3である。伝統的なforループの代わりにこれを行うために使用できる事前構築された関数はありますか？これを達成するための条件がありますか？

Answer 1

私は、これは有用であると考えている。この

val modifiedRDD = rdd.map{case(c1, c2, c3) => ((c1), (c2, c3, 1))} 
val reducedRDD = modifiedRDD.reduceByKey{case(x, y) => (x._1+y._1, x._2+y._2, x._3+y._3)} 

val finalRDD = reducedRDD.map{case((c1), (totalC2, totalC3, count)) => (c1, totalC2/count, totalC3/count)}