spark-scalaデータフレームのタイムスタンプの比較

Question

私は、タイプstringのsparkデータフレームにフィールドを持っています。値は2019-07-08 00:00の形式です。私はあなたの日付形式は、英国軍の形をしている与えられた、Stringのための標準的な比較演算子が動作するはず

df.filter(myfield > 2019-07-08 00:00) 

Answer 1

のようにフィールド上の条件を実行する必要があります。

val df = Seq(
    (1, "2019-07-06 16:00"), 
    (2, "2019-07-08 09:00"), 
    (3, "2019-07-11 06:30") 
).toDF("id", "date") 

df.filter(col("date") > "2019-07-08 00:00").show 
// +---+----------------+ 
// | id|   date| 
// +---+----------------+ 
// | 2|2019-07-08 09:00| 
// | 3|2019-07-11 06:30| 
// +---+----------------+