Javaを使用してSpark Data Frameにnull値の列を追加します。

Question

データフレームがあり、NULL値を持つタイプStringの列を追加したいとします。 Spark Java APIを使用してどのように行うことができますか。

私は​​3210機能を使用しましたが、DFとsaveAsTableを書き込もうとするとエラーが発生しました。

Answer 1

NULL値を持つ列に対してlit関数を使用して解決でき、列をString型にキャストしました。

df.withColumn(
"col_name", functions.lit(null) 
).withColumn("col_name", 
    df.col("channel_name").cast(DataTypes.StringType) 
)