SparkでWrappedArrayの最初の値を取得するには？

Question

少数の列でグループ分けされ、スキーマでわかるように、これらの列からWrappedArrayを取得しています。どうすればそれらを取り除いて次のステップに進み、orderByを実行できますか？データフレームを取得

val sqlDF = spark.sql("SELECT * FROM 
    parquet.`parquet/20171009121227/rels/*.parquet`") 

：

val final_df = groupedBy_DF.select(
    groupedBy_DF("collect_list(relev)").as("rel"), 
    groupedBy_DF("collect_list(relev2)").as("rel2")) 

は、スキーマを印刷することは、私たちを与える：final_df.printSchema

|-- rel: array (nullable = true) 
| |-- element: double (containsNull = true) 
|-- rel2: array (nullable = true) 
| |-- element: double (containsNull = true) 

サンプル出力電流：

を私はこれに変換しようとしています

：（上の写真から）

|-- rel: double (nullable = true) 
|-- rel2: double (nullable = true) 

理想の出力例：

-1.0,0.0 
-1.0,0.0 

Answer 1

常に1つの値のみを返します。代わりにfirstを使用してください。それで、配列を持つという問題に対処する必要はありません。これはgroupByの手順で実行する必要があります。

val spark = SparkSession.builder.getOrCreate() 
import spark.implicits._ 

val final_df = df.groupBy(...) 
    .agg(first($"relev").as("rel"), 
     first($"relev2").as("rel2")) 

Answer 2

はcol(x).getItemをお試しください：collect_list意志場合

groupedBy_DF.select(
    groupedBy_DF("collect_list(relev)").as("rel"), 
    groupedBy_DF("collect_list(relev2)").as("rel2") 
).withColumn("rel_0", col("rel").getItem(0))