spark convertデータフレームエラー

Question

rddをDataFrameに変換すると、タイプミスマッチエラーが発生しましたが、実際にはタイプはケースクラスで定義されています。どのようにそれを修正するには？

var data = Array(Array("4/1/2014 1:01:00",40.7575,-73.9846,"B02512")) 
    var rdd = sc.makeRDD(data)  

    case class X(dt: java.sql.Timestamp, lat: Double, lon: Double, base: String) 
    var newDF = rdd.map { case Array(s0, s1, s2, s3) => X(s0, s1, s2, s3) }.toDF() 

エラー：

<console>:30: error: type mismatch; 
    found : Any 
    required: java.sql.Timestamp 
      var newDF = rdd.map { case Array(s0, s1, s2, s3) => X(s0, s1, s2, s3) }.toDF() 

<console>:30: error: type mismatch; 
    found : Any 
    required: Double 
      var newDF = rdd.map { case Array(s0, s1, s2, s3) => X(s0, s1, s2, s3) }.toDF() 

Answer 1

dataはとてもマップ操作がjava.sql.TimestampかDoubleにAnyの変換に失敗したタイプArray[Array[Any]]です。

強いタイプのオブジェクトを作成するには、dataをArray[X]にしてください。

Answer 2

問題は、配列にさまざまなデータ型があるためです。最初の値は文字列、次に2つの数値と別の文字列です。したがって、1つのデータ型に一致させることができない場合は、デフォルトで「Any」と解釈されます。

これは一般的に、何かのように言うことによって、特定のデータ型を取るために

VARデータを強制することができます：配列[文字列]は新しいアレイ（ "ABC"、 "123"）

しかし、このwouldntのを=あなたの配列に異なるデータ型の値があるので、あなたのために働きます。それらをすべて文字列として渡してから、クラス内でtypecaseするか、1つのデータ型しか保持できない配列よりも洗練されたものを使用してください。