スパークデータフレームの行グループ内の行をマークする方法

Question

こんにちは、いくつかのルールに基づいてレコードのグループから行をマークしたいと思います。私は私の出力データフレームは、ルールは、2つのcolumns.From IDのグループ（a、b）は、最初のものに基づいて所定のデータフレームで

id price date 
a 200 2016 
b 100 2016 

あるべき

id price date 
a 100 2016 
a 200 2016 
a 100 2016 
b 100 2016 
b 100 2015 

の下のようなデータフレームを有しています私の実際のルールはより複雑で、多くの他の列も含まれています。

このような問題を解決するには、どのような方法が最適ですか。いくつかのルールに基づいて行のグループから行を選択する必要があります。任意の助けをいただければ幸いです。ありがとう

Answer 1

これを試してください。

val df = Seq(("a",100,2016), ("a",200,2016), ("a",100,2016), ("b",100,2016),("b",100,2015)).toDF("id", "price", "date") 
df.show 
val df1 = df.select($"id", struct($"price", $"date").alias("data")).groupBy($"id").agg(max("data").alias("data")).select($"id", $"data.price", $"data.date") 
df1.show 

以下のような出力が得られます。

+---+-----+----+ 
| id|price|date| 
+---+-----+----+ 
| b| 100|2016| 
| a| 200|2016| 
+---+-----+----+