pyspark文字列を日付形式に変換します

Question

文字列を日付列pysparkのデータフレームにMM-dd-yyyyの形式で格納していますが、これを日付列に変換しようとしています。

私が試した：

df.select(to_date(df.STRING_COLUMN).alias('new_date')).show()

を、私はヌルの文字列を取得します。誰も助けることができますか？ここで

Answer 1

それはUDFずにこれを実行する（preferrable！）ことも可能である：

> from pyspark.sql.functions import unix_timestamp 

> df = spark.createDataFrame([("11/25/1991",), ("11/24/1991",), ("11/30/1991",)], ['date_str']) 

> df2 = df.select('date_str', from_unixtime(unix_timestamp('date_str', 'MM/dd/yyy')).alias('date')) 

> df2 

DataFrame[date_str: string, date: timestamp] 

> df2.show() 

+----------+--------------------+ 
| date_str|    date| 
+----------+--------------------+ 
|11/25/1991|1991-11-25 00:00:...| 
|11/24/1991|1991-11-24 00:00:...| 
|11/30/1991|1991-11-30 00:00:...| 
+----------+--------------------+ 

更新（2018年1月10日） ：

これを行う最善の方法は、おそらくto_dateまたはto_timestamp関数は、両方ともformat引数をサポートしています。ドキュメントから：

>>> df = spark.createDataFrame([('1997-02-28 10:30:00',)], ['t']) 
>>> df.select(to_timestamp(df.t, 'yyyy-MM-dd HH:mm:ss').alias('dt')).collect() 
[Row(dt=datetime.datetime(1997, 2, 28, 10, 30))] 

Answer 2

from datetime import datetime 
from pyspark.sql.functions import col, udf 
from pyspark.sql.types import DateType 



# Creation of a dummy dataframe: 
df1 = sqlContext.createDataFrame([("11/25/1991","11/24/1991","11/30/1991"), 
          ("11/25/1391","11/24/1992","11/30/1992")], schema=['first', 'second', 'third']) 

# Setting an user define function: 
# This function converts the string cell into a date: 
func = udf (lambda x: datetime.strptime(x, '%m/%d/%Y'), DateType()) 

df = df1.withColumn('test', func(col('first'))) 

df.show() 

df.printSchema() 

が出力さ：

+----------+----------+----------+----------+ 
|  first| second|  third|  test| 
+----------+----------+----------+----------+ 
|11/25/1991|11/24/1991|11/30/1991|1991-01-25| 
|11/25/1391|11/24/1992|11/30/1992|1391-01-17| 
+----------+----------+----------+----------+ 

root 
|-- first: string (nullable = true) 
|-- second: string (nullable = true) 
|-- third: string (nullable = true) 
|-- test: date (nullable = true) 

Answer 3

strptime（）アプローチは私にとっては機能しません。 、（私の知っているが、両方の開発に残っている2があり、いくつかの議論のためのスパーク2016の会議を参照してください）あなたはTimeSeriesRDDアドオンのいずれかを使用している場合を除き

from pyspark.sql.types import DateType 
spark_df1 = spark_df.withColumn("record_date",spark_df['order_submitted_date'].cast(DateType())) 
#below is the result 
spark_df1.select('order_submitted_date','record_date').show(10,False) 

+---------------------+-----------+ 
|order_submitted_date |record_date| 
+---------------------+-----------+ 
|2015-08-19 12:54:16.0|2015-08-19 | 
|2016-04-14 13:55:50.0|2016-04-14 | 
|2013-10-11 18:23:36.0|2013-10-11 | 
|2015-08-19 20:18:55.0|2015-08-19 | 
|2015-08-20 12:07:40.0|2015-08-20 | 
|2013-10-11 21:24:12.0|2013-10-11 | 
|2013-10-11 23:29:28.0|2013-10-11 | 
|2015-08-20 16:59:35.0|2015-08-20 | 
|2015-08-20 17:32:03.0|2015-08-20 | 
|2016-04-13 16:56:21.0|2016-04-13 |