sparkデータフレームでgroupByを適用した後のフィルタリングされた列の割合

Question

Spark Dataframeには、2列のテーブルが含まれています。 ステータス、カテゴリ。

Status has values----'y' and 'n' 
Category has values -'a', 'b' and 'c' 

spark（Scala）の各カテゴリでステータス「y」のパーセンテージを見つける方法はありますか？ 私はこれまでできることができます。

df.groupBy("category").agg(count("*")) 
df.filter(col("status")==="y").groupBy("category").count() 

その組み合わせは何がエラー

Answer 1

val dfN = df.filter(col("status").equalTo("y")) 

val dfSum = dfN.groupBy("category").agg(count("status").as("Sum")) 
val numSum = num.first()(0).toString.toInt 

val dfResult = dfSum.select(col("category"), lit(col("Sum") * 100/numSum).as("percentage")) 

Answer 2

GroupByとaggregationがそれぞれのcountを見つけるのに十分でなければならない私を与えた後、個々CategoryのそれぞれStatus。 Window関数を使用して、の合計sumを見つけることができます。そして最後に、filterを計算して、必要なStatusを出すことができます。

import org.apache.spark.sql.functions._ 
import org.apache.spark.sql.expressions.Window 

def windowSpec = Window.partitionBy("Category") 
val tempdf = df.groupBy("Status", "Category").agg(count("Category").as("ind_count")) 
       .withColumn("tot_count", sum("ind_count").over(windowSpec)) 

    tempdf.filter($"Status" === "y").select($"Status", $"Category", (($"ind_count"/$"tot_count")*100).as("y_percentage")).show(false) 

私は、答えはこの行で