Spark - 異なるデータ型を使用してプログラムでスキーマを作成する

Question

私は、String型の7-8フィールドからなるデータセットを持っています。& Floatです。

val schema = StructType(header.split(",").map(column => StructField(column, StringType, true))) 

、その後のようなタイプを行にそれをマッピング：

はこれを使って、プログラム的なアプローチにより、スキーマを作成しようとしています

val dataRdd = datafile.filter(x => x!=header).map(x => x.split(",")).map(col => Row(col(0).trim, col(1).toInt, col(2).toFloat, col(3), col(4) ,col(5), col(6), col(7), col(8))) 

しかし、私はDF.showを使用するときにデータフレームを作成した後に（ ）Integerフィールドにエラーが発生します。

それでは、どのデータセットに

Answer 1

を、我々は複数のデータ型を持っているようなスキーマを作成するには、コードを持っている問題は、あなたがStringTypeなど、すべてのフィールドを割り当てているということです。

ヘッダーにフィールドの名前しかないと仮定すると、その型は推測できません。

あなたが一方

root 
|-- field1:Int: integer (nullable = true) 
|-- field2:Double: double (nullable = true) 
|-- field3:String: string (nullable = true) 

を取得後、コードはヘッダの文字列例えば

def inferType(field: String) = field.split(":")(1) match { 
    case "Int" => IntegerType 
    case "Double" => DoubleType 
    case "String" => StringType 
    case _ => StringType 
} 

val schema = StructType(header.split(",").map(column => StructField(column, inferType(column), true))) 

する必要がありますのは、ヘッダ文字列がこの

val header = "field1:Int,field2:Double,field3:String" 

のようなものであると仮定しよう。必要なものがテキストのデータフレームであれば、ファイル自体からDataFrameを直接作成することをお勧めします。 RDDから作成するのは無意味です。第1の構造タイプの定義

val fileReader = spark.read.format("com.databricks.spark.csv") 
    .option("mode", "DROPMALFORMED") 
    .option("header", "true") 
    .option("inferschema", "true") 
    .option("delimiter", ",") 

val df = fileReader.load(PATH_TO_FILE) 

Answer 2

：

val schema1 = StructType(Array(
    StructField("AcutionId", StringType, true), 
    StructField("Bid", IntegerType, false), 
    StructField("BidTime", FloatType, false), 
    StructField("Bidder", StringType, true), 
    StructField("BidderRate", FloatType, false), 
    StructField("OpenBid", FloatType, false), 
    StructField("Price", FloatType, false), 
    StructField("Item", StringType, true), 
    StructField("DaystoLive", IntegerType, false) 
)) 

そして特定のタイプに変換することにより、行の内部に存在bに起こっている各列を指定：

val dataRdd = datafile.filter(x => x!=header).map(x => x.split(",")) 
    .map(col => Row(
    col(0).trim, 
    col(1).trim.toInt, 
    col(2).trim.toFloat, 
    col(3).trim, 
    col(4).trim.toFloat, 
    col(5).trim.toFloat, 
    col(6).trim.toFloat, 
    col(7).trim, 
    col(8).trim.toInt) 
) 

そして適用RDDへのスキーマ

val auctionDF = spark.sqlContext.createDataFrame(dataRdd,schema1)