scala - Spark：ループ内のすべてのデータフレームを結合する方法

Question

ループ内のデータフレームを取得する方法はありますか？

この

は、サンプルコード

var fruits = List(
    "apple" 
    ,"orange" 
    ,"melon" 

) 


for (x <- fruits){ 

      var df = Seq(("aaa","bbb",x)).toDF("aCol","bCol","name") 

} 

ある 私は

aCol | bCol | fruitsName 
aaa,bbb,apple 
aaa,bbb,orange 
aaa,bbb,melon 

おかげのようないくつかをしたいと思う

再び

Answer 1

ステファン・シュミッツの答えは、私は信じている最も簡潔なものです。

import org.apache.spark.sql.types.{StructType, StructField, StringType} 
import org.apache.spark.sql.Row 

//initialize DF 
val schema = StructType(
    StructField("aCol", StringType, true) :: 
    StructField("bCol", StringType, true) :: 
    StructField("name", StringType, true) :: Nil) 
var initialDF = spark.createDataFrame(sc.emptyRDD[Row], schema) 

//list to iterate through 
var fruits = List(
    "apple" 
    ,"orange" 
    ,"melon" 
) 

for (x <- fruits) { 
    //union returns a new dataset 
    initialDF = initialDF.union(Seq(("aaa", "bbb", x)).toDF) 
} 

//initialDF.show() 

参照：

• How to create an empty DataFrame with a specified schema?
• https://spark.apache.org/docs/2.0.1/api/java/org/apache/spark/sql/Dataset.html
• https://docs.databricks.com/spark/latest/faq/append-a-row-to-rdd-or-dataframe.html

以下 は、あなたがより多くのカスタマイズを探している場合は、より詳細な回答（フィールドタイプの、など）であります

Answer 2

うーん...私はあなたの質問だと思いますビットミスガイド。あなたがやろうとしているものは何でも、あなたは以下を実行しなければならないの私の限られた理解あたりとして

、

val fruits = List(
    "apple", 
    "orange", 
    "melon" 
) 

val df = fruits 
    .map(x => ("aaa", "bbb", x)) 
    .toDF("aCol", "bCol", "name") 

そして、これは十分なはずです。

Answer 3

最初にシーケンスを作成してから、toDFを使用してDataframeを作成することができます。 forループで

scala> var dseq : Seq[(String,String,String)] = Seq[(String,String,String)]() 
dseq: Seq[(String, String, String)] = List() 

scala> for (x <- fruits){ 
    | dseq = dseq :+ ("aaa","bbb",x) 
    | } 

scala> dseq 
res2: Seq[(String, String, String)] = List((aaa,bbb,apple), (aaa,bbb,orange), (aaa,bbb,melon)) 

scala> val df = dseq.toDF("aCol","bCol","name") 
df: org.apache.spark.sql.DataFrame = [aCol: string, bCol: string, name: string] 

scala> df.show 
+----+----+------+ 
|aCol|bCol| name| 
+----+----+------+ 
| aaa| bbb| apple| 
| aaa| bbb|orange| 
| aaa| bbb| melon| 
+----+----+------+ 

Answer 4

：

val fruits = List("apple", "orange", "melon") 

(for(f <- fruits) yield ("aaa", "bbb", f)).toDF("aCol", "bCol", "name") 

Answer 5

あなたはcreatできますDataFrameのシーケンスを編集してからreduce：

val results = fruits. 
    map(fruit => Seq(("aaa", "bbb", fruit)).toDF("aCol","bCol","name")). 
    reduce(_.union(_)) 

results.show()