スパークスカラ結合データフレーム減算カラム値

Question

2つのデータフレームにそれぞれ2つのカラムがあります。私は第1列でそれらに参加し、第2列を差し引きたい。これまで私が持っていたことは次のとおりです。

var x = df.select("a", "c") 
      .groubBy("a") 
      .count() 
var y = df.select("b", "c") 
      .groubBy("b") 
      .count() 
var z = x.join(y, x("a") === y("b")) 

データフレーム減算を実行するにはどうすればよいですか？データフレームがなければ、私は通常mapValues {case .. => ..}になります。ありがとう

Answer 1

val x = df.groubBy("a") 
      .agg(sum("c").as("c1")) 
      .select("a", "c1") 
val y = df.groubBy("b") 
      .agg(sum("c").as("c2")) 
      .select("b", "c2") 
val z = x.join(y, $"a" === $"b") 
     .select($"a", $"c1" - $"c2")