PySparkの削除カラムの無効な日付時刻フォーマット

Question

私のデータフィールドのフォーマットは次のとおりです：2016-10-15 00:00:00 私のデータを寄木張りファイルに保存している間に推論スキーマを使用した後、このフォーマットに従う。

どのようにまとめてPySparkで削除できますか？

私のUDFでは問題が発生しています。あなたは無効な日付と日付の列と行を解析していると仮定すると、

Answer 1

は通常の場合である、ヌルです：あなたの日付は文字列として読まれている場合、

df.filter(col('date').isNotNull()) 

また、あなたはunix_timestampを使用してそれを解析することができます：

(
    df 
    .select(unix_timestamp('date', 'yyyy-MM-dd HH:mm:ss').cast("timestamp").alias('date')) 
    .filter(col('date').isNotNull()) 
)