Sparkからの書き込み時に、分割されたデータのデータ型を失うことを避ける

Question

私は以下のようなデータフレームを持っています。

itemName, itemCategory 
Name1, C0 
Name2, C1 
Name3, C0 

私は分割された寄木細工のファイルとして、このデータフレームを保存したい：私は戻ってデータを読み込むときに、このデータフレームのために

df.write.mode("overwrite").partitionBy("itemCategory").parquet(path) 

、それは文字列にitemCategoryのデータ型を持つことになります。

しかし、時々、私は以下のように他のテナントからのデータフレームを持っています。この場合

itemName, itemCategory 
Name1, 0 
Name2, 1 
Name3, 0 

リードバックするとき、パーティションとして書き込まれた後に、得られたデータフレームは、itemCategoryのデータ型のintを有するであろう。

寄木張りファイルには、データ型を説明するメタデータがあります。どのようにしてパーティションのデータ型を指定して、Intの代わりにStringとして読み取ることができますか？

Answer 1

partitionBy itemCategoryと同じように、このデータはファイル構造に格納され、実際のCSVファイルには格納されません。私の推測では、Sparkは値に応じてデータ型を推論します。すべての値が整数の場合、列の型はintになります。

一つの簡単な解決策は、データを読んだ後StringTypeに列をキャストするために、次のようになります。

import spark.implicits._ 
df.withColumn("itemCategory", $"itemCategory".cast(StringType)) 

---

別のオプションは、列自体を複製することです。次に、列の1つがパーティショニングに使用されるため、ファイル構造に保存されます。ただし、他の重複列は、パーケットファイルに通常保存されます。複製を作成するには、単純に使用します。

df.withColumn("itemCategoryCopy", $"itemCategory")