配列[行]からDataFrameに移動することは可能ですか

Question

DataFrameにcollectを呼び出すと、Array[Row]が返されます。しかし、その結果からDataFrameに戻ることが可能かどうか、あるいは一般的にはArray[Row]と思っています。例えば

：

import df.sparkSession.implicits._ 
newDF = rows.toDF() 

Answer 1

限り、あなたはスキーマとして提供として、List[Row]を提供することが可能である：

rows = df.select("*").collect() 

はこのような何かを行うにはいくつかの方法があります。そして、あなたはここで使用することができますtoDFのない変形はありませんSparkSession.createDataFrame

def createDataFrame(rows: List[Row], schema: StructType): DataFrame 

使用することができます。

通常、collectingを避け、結果をDataFrameに戻す必要があります。