2017-01-12 8 views
-2

datframeから列のリストをリスト[列]に挿入して、選択要求を行うことができます。それは感謝リストに列名を表示する[列] scala

object PCA extends App{ 
    val spark = SparkSession.builder.master("local").appName("my-spark-app").getOrCreate() 
    val strPath="C:/Users/mhattabi/Desktop/testBis2.txt" 
    val intial_Data=spark.read.option("header",true).csv(strPath) 
    //array string contains names of column 
    val arrayList=intial_Data.columns 
    var colsList = List[Column]() 
    //wanna insert name of column into the listColum 
    arrayList.foreach(p=>colsList.) 

    //i want to have something like 
    //val colsList = List(col("col1"),col("col2")) 
    //intial_Data.select(colsList:_*).show 
} 

答えて

0

すべてのヘルプは、あなたが以下のようCOL機能を使用することができます[コラム]列のリストを取得し、リストに自動的にそれを挿入することを意味します:

var colsList = List[Column]() 
arrayList.columns.foreach { c => colsList:+=col(c)} 

SQL関数をインポートすることを忘れないでくださいCOL使用する:

import org.apache.spark.sql.functions._ 
0

を私は変数ではなく不変のリストを使用します以下のような変換によってリスト化する。

val arrayList = initial_Data.columns 
val colsList = arrayList.map(col) 
関連する問題