シングルクーム用のスパークスケーラでのデータフレームの作成方法

Question

私はスカラを初めて使用しました。 私は10の列を含むdataframeを持っていますが、そのデータフレームのためのもう1つの列を追加したい、その列は日付形式の日付は乱数によって生成されます。

import java.util.Date 
import java.util.ArrayList 
import java.text.SimpleDateFormat 

object Datecolumn { 
    def main(args: Array[String]) { 



    val dateFormat = new SimpleDateFormat("yyyy/MM/dd HH:mm:ss"); 
val date = new Date(); 
//println(dateFormat.format(date)); 

    val li= new ArrayList[String] 
    for(i<- 1 to 10) 
    { 
    li.add(dateFormat.format(date)) 
    } 


// val dateColumn = 

val Lii = li.listIterator() 
while(Lii.hasNext()) 
{ 
    println(Lii.next()) 
} 

    li.toDF("Date") //.toDF is not a member of Java.util.ArrayList 

} 
} 

Answer 1

//Initialise Spark Session 
    val spark = SparkSession 
    .builder() 
    .master("local") 
    .appName("ParquetAppendMode") 
    .getOrCreate() 

    import spark.implicits._ 

//create a simple dataframe with one column 
    val dataFrame = spark.sparkContext.parallelize(1 to 10).toDF("number") 

    dataFrame.show 

//add another column with current timestamp 
    dataFrame.withColumn("timestamp", unix_timestamp()).show() 

私はあなたを理解している場合、この情報がお役に立てば幸い！