DataTypes.DateTypeを定義する

Question

私はSparkを習得しようとしています。私はDataFrameとして私が読んでいるorg.apache.spark.sql.Columnを持っています。そして、私は列に条件を使用して、それをフィルタ処理しようとしています：

val resultDataFrame = dataFrame.filter(col("DATECOL") >= date) 

DATECOLは、データフレームの中DataTypes.DateTypeとして読まれています。 dateはハードコードする必要がある変数です。私が把握しようとしています何

は私がdateを定義することができ、すなわちどのように私はDataTypes.DateTypeのインスタンスを作成したり、私は上記の式を実行できるように、Stringかそこらから、それに変換する方法です。私はStringを使用しようとしましたが、エラーは発生しませんが、結果は返されません。

Answer 1

あなたはそれjava.sql.Date作ることができます。

val df = Seq(("2016-10-10", 2), ("2017-02-02", 10)).toDF("DATECOL", "value") 

val df1 = df.withColumn("DATECOL", to_date($"DATECOL")) 
// df1: org.apache.spark.sql.DataFrame = [DATECOL: date, value: int] 

df1.show 
+----------+-----+ 
| DATECOL|value| 
+----------+-----+ 
|2016-10-10| 2| 
|2017-02-02| 10| 
+----------+-----+ 

val date = java.sql.Date.valueOf("2016-11-01") 
// date: java.sql.Date = 2016-11-01 

df1.filter($"DATECOL" > date).show 
+----------+-----+ 
| DATECOL|value| 
+----------+-----+ 
|2017-02-02| 10| 
+----------+-----+