spark列のgroupByでモード（多くの場合）値を取得する

Question

私はSparkR DataFrameを持っていて、一意のそれぞれnameに対してモード（多くの場合）valueを取得したいと考えています。これどうやってするの？組み込みのmode機能はないようです。 SparkRまたはPySparkのいずれかのソリューションが動作します。

#Create DF 
df <- data.frame(name = c("Thomas", "Thomas", "Thomas", "Bill", "Bill", "Bill"), 
    value = c(5, 5, 4, 3, 3, 7)) 
DF <- createDataFrame(df) 

name | value 
----------------- 
Thomas | 5 
Thomas | 5 
Thomas | 4 
Bill | 3 
Bill | 3 
Bill | 9 

#What I want to get 
name | mode(value) 
----------------- 
Thomas | 5 
Bill | 3 

Answer 1

あなたはこのような.groupBy()とwindowの方法を組み合わせ使用していることを達成できる：

grouped = df.groupBy('name', 'value').count() 
window = Window.partitionBy("name").orderBy(desc("count")) 
grouped\ 
    .withColumn('order', row_number().over(window))\ 
    .where(col('order') == 1)\ 
    .show() 

出力：

+------+-----+-----+-----+ 
| name|value|count|order| 
+------+-----+-----+-----+ 
| Bill| 3| 2| 1| 
|Thomas| 5| 2| 1| 
+------+-----+-----+-----+ 

Answer 2

はここソリューションのSparkRバージョンがあります：

grouped <- agg(groupBy(df, 'name', 'value'), count=count(df$value)) 
window <- orderBy(windowPartitionBy("name"), desc(grouped$count)) 
dfmode <- withColumn(grouped, 'order', over(row_number(), window)) 
dfmode <- filter(dfmode, dfmode$order==1)