Spark DataFrameの行の値を列にマップする方法は？

Question

別のデータフレームの列に値をマップすることを試みています。

私は、次のデータフレームを持って、「ID」の値が一意であることが知られている：

sqlContext.createDataFrame(Seq(("a", 1),("b",2))).toDF("id","number") 

そして：

sqlContext.createDataFrame(Seq(("jane",10),("John",12))).toDF("mcid", "age") 

そして、私は、スキーマとデータフレームを生成したい：

| mcid | age | a | b | 

Answer 1

あなたが何をしようとしているのかわかりませんが、あなたはこれを持っていると仮定しています：

val df1 = sqlContext.createDataFrame(Seq(("a", 1),("b",2))).toDF("id","number") 
val df2 = sqlContext.createDataFrame(Seq(("jane",10),("John",12))).toDF("mcid", "age") 

これはあなたが捜しているスキーマを持つDataFrameなります。もう少し自分の仕事について明確にしてください

df2.join(df1).groupBy($"mcid", $"age").pivot("id").sum("number")