jsonから読み取られたSpark DataFrameのデータ型を適用する方法

Question

DataFrameにjson（スキーマなし）を読み込むと、すべての数値型がLongになります。完全に指定されたjsonスキーマを指定せずにInteger型を強制する方法はありますか？

Answer 1

あなたはケースクラス

val df = Seq((1,"ab"),(3,"ba")).toDF("A","B") 

case class test(A: Int, B: String) 
df.as[test] 

またはあなたが列を複製し、あなたがDFをリキャストとデータセットにデータフレームに変換することができます。

import org.apache.spark.sql.types.{StringType} 
df.withColumn("newA", 'A.cast(StringType))