は（PySparkに新）DATETYPEエラーに</p> <p>を

Question

をLongTypeをキャストすることはできません私は、検索の多くを行うと、非常に多くの異なる方法を試してみました、私はここに私の最後の試みを掲示しています： 私はのように見えるデータフレームを持っています。

txn_dtのdatetime64 [NS] ID

のint64私は別の日付型にtxn_dtに参加し、エラーの種類mistmatchを取得するために、スパークSQLを使用しようとしているので、私は、次のコードを使用して日付をtxn_dtを変換しようとしています：

df = df.withColumn("txn_dt_tmp",df["txn_dt"].cast(DateType())) \ 
             .drop("txn_dt") \ 
             .withColumnRenamed("txn_dt_tmp", "txn_dt") 

しかし

org.apache.spark.sql.AnalysisException: cannot resolve 'CAST(`txn_dt` AS DATE)' due to data type mismatch: cannot cast LongType to DateType; 

を取得

Answer 1

次のことを試してみてくださいでした：

from pyspark.sql.functions import unix_timestamp 

df.withColumn('txn_dt',unix_timestamp(txn_dt_tmp,'yyyy-MM-dd').cast("date")) 

Answer 2

は、タイムスタンプと、日付データ型としてそれをキャストする 'txn_dt' を変換しよう助けてください。