Spark SQLでグループ化、並べ替え

Question

sparkアプリケーションを使用してs3データにアクセスしようとしています。 Spark SQLを適用してデータを取得しています。それはグループバイカットをしていません。

DataFrame summaryQuery=sql.sql("Select score from summary order by updationDate desc); 
summaryQuery.groupBy("sessionId").count().show(); 
summaryQuery.show(); 

また、私は直接

DataFrame summaryQuery=sql.sql("Select score from summary group by sessionId order by updationDate desc); 
summaryquery.show(); 

それをしようとしています。しかし、両方のケースでは、私はSQL例外を取得しています。

Exception in thread "main" org.apache.spark.sql.AnalysisException: expression 'score' is neither present in the group by, nor is it an aggregate function. Add to group by or wrap in first() (or first_value) if you don't care which value you get.; 

データのクエリ方法を指定してください。

Answer 1

Spark SQLでは、column_nameがgroup by句に存在しない場合は、最初の（column_name）またはlast（column_name）関数または任意の集計関数でラップする必要があります。フェッチされた行からそれぞれ最初または最後の値が取られます。

DataFrame summaryQuery=sql.sql("Select first(score) from summary group by sessionId order by updationDate desc); 
summaryquery.show();