Spark（Scala）がforループ内でデータフレームを実行

Question

spark 1.6.1バージョンを使用しています。私はループでdataframeを実行する必要があります。

for (i <- List ('a','b')){ 
val i = sqlContext.sql("SELECT i, col1, col2 FROM DF1")} 

私は、このデータフレームが二回（i = aとi = b）を実行することにしたいです。

Answer 1

あなたのコードはほぼ正しいです。二つのものを除き ：

• iは、すでにあなたは、文字列でiの値を使用したい場合はその文字列補間

を使用し、 val i =

でそれを使用していない、あなたのforループ内で使用されています

だからあなたのコードは次のようになります。

for (i <- List ('a','b')) { 
    val df = sqlContext.sql(s"SELECT $i, col1, col2 FROM DF1") 
    df.show() 
} 

---

あなたが.map、その後.reduceLeftでこれを行うことができます

：

作者のコメントの後EDITに

// All your dataframes 
val dfs = Seq('a','b').map { i => 
    sqlContext.sql(s"SELECT $i, col1, col2 FROM DF1") 
} 

// Then you can reduce your dataframes into one 
val unionDF = dfs.reduceLeft((dfa, dfb) => 
    dfa.unionAll(dfb) 
)