1つのテーブルに複数の日付書式の列を実装し、SPARKに格納する方法

Question

ここで初心者。私は2つの日付の列をddmmyyyyとmmddyyyyの書式でsparkに格納する方法を見つけようとしています。私はカスタマイズされた方法を行ってきましたが、テーブルあたり1つのフォーマットしかサポートしていないと思います。私はsparkの1つのテーブルに2つ以上の日付形式を格納し指定する方法を見つけませんでした。

Answer 1

私は誤解していない午前なら、私はあなたがこれを見ていると信じて：

import pyspark.sql.functions as f 
from pyspark.sql.types import DateType 
from datetime import datetime 

#col1 has date format in DDMMYYY and col2 has date format in MMDDYYYY 
df = sc.parallelize([('30082017','08272017'), ('29082017','08262017')]).toDF(["col1", "col2"]) 

f_mmdd = f.udf(lambda x: datetime.strptime(x, '%m%d%Y'), DateType()) 
f_ddmm = f.udf(lambda x: datetime.strptime(x, '%d%m%Y'), DateType()) 
df = df.withColumn("col1_date_ddmm",f_ddmm(df.col1)).withColumn("col2_date_mmdd",f_mmdd(df.col2)) 
df.show() 

出力は次のとおりです。

+--------+--------+--------------+--------------+ 
| col1| col2|col1_date_ddmm|col2_date_mmdd| 
+--------+--------+--------------+--------------+ 
|30082017|08272017| 2017-08-30| 2017-08-27| 
|29082017|08262017| 2017-08-29| 2017-08-26| 
+--------+--------+--------------+--------------+ 

は、この情報がお役に立てば幸い！