Pysparkの文字列列からdatetimeを作成する

Question

次のようなdatetime列があるとします。私は文字列の列をdatetime型に変換したいので、月、日、年などを抽出できます。

+---+------------+ 
|agg| datetime| 
+---+------------+ 
| A|1/2/17 12:00| 
| B|  null| 
| C|1/4/17 15:00| 
+---+------------+ 

私は下に次のコードを試してみましたが、日時の列に返す値は、私は、現時点ではその理由を理解していないヌル、です。

df.select(df['datetime'].cast(DateType())).show() 

そして私もこのコードを試してみました：

df = df.withColumn('datetime2', from_unixtime(unix_timestamp(df['datetime']), 'dd/MM/yy HH:mm')) 

しかし、両者はこのデータフレームを生成：

+---+------------+---------+ 
|agg| datetime|datetime2| 
+---+------------+---------+ 
| A|1/2/17 12:00|  null| 
| B|  null |  null| 
| C|1/4/17 12:00|  null| 

私はすでに読んで、この記事で指定されている解決策を試してみました無用に：PySpark dataframe convert unusual string format to Timestamp

Answer 1

// imports 
import org.apache.spark.sql.functions.{dayofmonth,from_unixtime,month, unix_timestamp, year} 

// Not sure if the datatype of the column is datetime or string 
// I assume the column might be string, do the conversion 
// created column datetime2 which is time stamp 
val df2 = df.withColumn("datetime2", from_unixtime(unix_timestamp(df("datetime"), "dd/MM/yy HH:mm"))) 

+---+------------+-------------------+ 
|agg| datetime|   datetime2| 
+---+------------+-------------------+ 
| A|1/2/17 12:00|2017-02-01 12:00:00| 
| B|  null|    null| 
| C|1/4/17 15:00|2017-04-01 15:00:00| 
+---+------------+-------------------+ 


//extract month, year, day information 
val df3 = df2.withColumn("month", month(df2("datetime2"))) 
    .withColumn("year", year(df2("datetime2"))) 
    .withColumn("day", dayofmonth(df2("datetime2"))) 
+---+------------+-------------------+-----+----+----+ 
|agg| datetime|   datetime2|month|year| day| 
+---+------------+-------------------+-----+----+----+ 
| A|1/2/17 12:00|2017-02-01 12:00:00| 2|2017| 1| 
| B|  null|    null| null|null|null| 
| C|1/4/17 15:00|2017-04-01 15:00:00| 4|2017| 1| 
+---+------------+-------------------+-----+----+----+ 

ありがとう