SparkSQLのDateからVarcharへ

Question

Spark SQLを使用してSQLテーブルからデータを選択し、それをPandasに転送しようとしています。それを行うには：

dataset_date=sqlContext.sql(''' 
Select a.ID, a.STAT, a.Date 
from TABLE a''' 
) 
df_date=dataset_date.toPandas() 
df_date.head() 

列a.Dateには日付形式があり、代わりにVarcharに切り替える必要があります。 SparkSQLでこれを実行するにはどのような機能を使用する必要がありますか？

Answer 1

あなたはpyspark.sql.functions.date_formatを使用することができます。

from pyspark.sql.functions import date_format 

df.withColumn("date", date_format("date", "yyyy-MM-dd"))