pysparkでyyyymmddをMM-dd-yyyy形式に変換する

Question

日付の列がyyyymmddの大きなデータフレームdfを持っていますが、pySparkのMM-dd-yyyyにどのように変換できますか？

Answer 1

from datetime import datetime 
from pyspark.sql.functions import col,udf 
from pyspark.sql.types import DateType 


rdd = sc.parallelize(['20161231', '20140102', '20151201', '20161124']) 
df1 = sqlContext.createDataFrame(rdd, ['old_col']) 

//UDF to convert string to date 
func = udf (lambda x: datetime.strptime(x, '%Y%M%d'), DateType()) 

df = df1.withColumn('new_col', date_format(func(col('old_col')), 'MM-dd-yyy')) 

df.show() 

Answer 2

これも働いている：

from datetime import datetime 
from pyspark.sql.functions import col,udf,unix_timestamp 
from pyspark.sql.types import DateType 


func = udf(lambda x: datetime.strptime(str(x), '%m%d%y'), DateType()) 

df2 = df.withColumn('date', func(col('InvcDate')))