はScalaの

Question

私は私のデータフレーム内 java.sql.timestampタイプの2つのフィールドを持っています

に2をjava.sql.Timestampフィールド間の日数を取得し、私は以下にこれらの2つの列

間の日数を検索するためにどのようなフォーマットであります* 2016-12-23 23：56：02.0（yyyy-MM-dd HH：mm：ss.S）

私は多くの方法を試しましたが、解決策は見つかりませんでした。だから誰でもここで助けてくれるはずです。

Answer 1

org.apache.spark.sql.functionsは宝物です。たとえば、正確に何をしたいんdatediff方法があります：here is the ScalaDoc.

例：

val spark: SparkSession = ??? // your spark session 
val sc: SparkContext = ??? // your spark context 

import spark.implicits._ // to better work with spark sql 

import java.sql.Timestamp 

final case class Data(id: Int, from: Timestamp, to: Timestamp) 

val ds = 
    spark.createDataset(sc.parallelize(Seq(
    Data(1, Timestamp.valueOf("2017-01-01 00:00:00"), Timestamp.valueOf("2017-01-11 00:00:00")), 
    Data(2, Timestamp.valueOf("2017-01-01 00:00:00"), Timestamp.valueOf("2017-01-21 00:00:00")), 
    Data(3, Timestamp.valueOf("2017-01-01 00:00:00"), Timestamp.valueOf("2017-01-23 00:00:00")), 
    Data(4, Timestamp.valueOf("2017-01-01 00:00:00"), Timestamp.valueOf("2017-01-07 00:00:00")) 
))) 

import org.apache.spark.sql.functions._ 

ds.select($"id", datediff($"from", $"to")).show() 

このスニペットを実行することによって、あなたは、次の出力で終わるでしょう：

+---+------------------+ 
| id|datediff(from, to)| 
+---+------------------+ 
| 1|    -10| 
| 2|    -20| 
| 3|    -22| 
| 4|    -6| 
+---+------------------+