Spark SQLを使用して現在の日付を確認する

Question

spark dataframe（scala）でフィルタを実行して、その列が現在の日付よりも小さいかどうかを確認しようとしています。

myDataFrame.filter(myDataFrame("expiry_date").lt(CurrentDate)) 

しかし、それは私に、以下のエラー

"message": "java.lang.RuntimeException: Unsupported literal type class org.apache.spark.sql.catalyst.expressions.CurrentDate$ CurrentDate" 

この上の任意の考えを投げていますか？

Answer 1

あなたはjava.util.Dateを持っている場合は

myDataFrame.filter(myDataFrame("expiry_date").lt(current_date())) 

は、次の使用に動作するはずです後

java.util.Date currDate = new java.util.Date(); 
myDataFrame.filter(myDataFrame("expiry_date").lt(new java.sql.Date(currDate.getTime())))