sparkのdataframeから複数のリストを作成するには？

Question

sparkのdataframeから複数のリストを作成する方法。 私の場合、特定のキーをグループ化してmongodbドキュメントを注文したいと思います。そして

Answer 1

あなたはこのような何かを行うことができます... は私に

sparkSession = SparkSession.builder().getOrCreate() 
MongoSpark.load[SparkSQL.Character](sparkSession).printSchema() 
val characters = MongoSpark.load[SparkSQL.Character](sparkSession) 
characters.createOrReplaceTempView("characters") 
val sqlstmt = sparkSession.sql("SELECT * FROM characters WHERE site = 'website'") 

を助けてください、スキーマの一つのキーに基づいてグループ化された複数のリストを作成します。

val columns = sqlstmt.columns.map(col) 

task1 
    .groupBy(key) 
    .agg(collect_list(struct(columns: _*)).as("data")) 

しないでください輸入を忘れて

import org.apache.spark.sql.functions._