どのように私はこのようなデータを持つ2つの2次元

Question

に2つの転送一次元データ：

に転送する方法

2014 a 1 
2015 b 2 
2014 a 2 
2015 c 4 
2014 b 2 

：スパークに

 a b c 
2014 3 2 0 
2015 0 2 4 

。ありがとう。

Answer 1

これは、ピボットテーブルのprotopyicalアプリケーションIは種類によって、それらfullOuterJoinフィルタリング

df.show() 
// 
//+------+------+----+ 
//|letter|number|year| 
//+------+------+----+ 
//|  a|  1|2014| 
//|  b|  2|2015| 
//|  a|  2|2014| 
//|  c|  4|2015| 
//|  b|  2|2014| 
//+------+------+----+ 
val pivot = df.groupBy("year") 
.pivot("letter") 
.sum("number") 
.na.fill(0,Seq("a")) 
.na.fill(0,Seq("c")) 

pivot.show() 
//+----+---+---+---+ 
//|year| a| b| c| 
//+----+---+---+---+ 
//|2014| 3| 2| 0| 
//|2015| 0| 2| 4| 
//+----+---+---+---+