Sparkで複数の列を一度に集約する方法

Question

複数の列を持つデータフレームがあります。私は1つの列でグループ化し、他の列をすべて一度集約したい。テーブルに4つの列cust_id、f1、f2、f3があり、cust_idでグループ化してavg（f1）、avg（f2）、および平均（f3）を取得したいとします。テーブルには多くの列があります。何かヒント？

次のコードは良いスタートですが、私は多くの列を持っているので、手動で書き込むことはお勧めできません。

df.groupBy("cust_id").agg(sum("f1"), sum("f2"), sum("f3")) 

Answer 1

たぶん、あなたはcolum名でリストをマッピングしてみてください。必要に応じて

val groupCol = "cust_id" 
val aggCols = (df.columns.toSet - groupCol).map(
    colName => avg(colName).as(colName + "_avg") 
).toList 

df.groupBy(groupCol).agg(aggCols.head, aggCols.tail: _*) 

あるいは、あなたはまた、スキーマと一致し、タイプに基づいて集計を構築することができます

val aggCols = df.schema.collect { 
    case StructField(colName, IntegerType, _, _) => avg(colName).as(colName + "_avg") 
    case StructField(colName, StringType, _, _) => first(colName).as(colName + "_first") 
}