データセット[Seq [T]]をSparkのデータセット[T]に変換する方法

Question

Dataset[Seq[T]]をDataset[T]に変換するにはどうすればよいですか？

たとえば、Dataset[Seq[Car]]~Dataset[Car]です。

Answer 1

あなたはflatMapを行うことができます。

val df = Seq(Seq(1, 2, 3), Seq(4, 5, 6, 7)).toDF("s").as[Seq[Int]]; 
df.flatMap(x => x.toList) 

また、機能を爆発試すことができます。

df.select(explode('s)).select("col.*").as[Car] 

全例：

import org.apache.spark.sql.functions._ 
case class Car(i : Int); 
val df = Seq(List(Car(1), Car(2), Car(3))).toDF("s").as[List[Car]]; 
val df1 = df.flatMap(x => x.toList) 
val df2 = df.select(explode('s)).select("col.*").as[Car]