型の不一致が見つかりました：単位予想：RDD [XYZ ...]

Question

私は、以下のシナリオ

//scores sample file 
0000006,Danny,6.2 
0000002,Danny,7.0 

コード用の型の不一致エラーを取得しています。

case class Person(id: String, dob: String, country: String, score: Double) 

def getResultRecords(persons: RDD[List[String]]): RDD[Person] = { 

    val personUS = persons.map(rec => Person(rec.head, rec(1),"US"), java.lang.Double.parseDouble(cpg.getOrElse(rec.head,"0").toString()) 
    val personMX = persons.map(rec => Person(rec.head, rec(1),"MX"),java.lang.Double.parseDouble(cpg.getOrElse(rec.head,"0").toString())) 
    val personAll = personUS.union(personMX) 
    //return personAll 
}//Getting an error saying " type mismach found : Unit expected : RDD[Person]" 

私はここで間違っていますか？どうすれば修正できますか？

私を助けてください。

Answer 1

スパークでは、transformationsはです。レイジーです。 actionを実行してRDD[Person]を返す必要があります。それ以外の場合、関数は何も返しません。そのため、タイプの不一致のエラーです。

Answer 2

YOURメソッドの署名はdef getResultRecords(persons: RDD[List[String]]): RDD[Person]です。つまり、メソッドはRDD[Person]のインスタンスを返す必要があります。

しかし、同じメソッドの最後の行には、 - val personAll = personUS.union(personMX)と表示され、何も返されません。

コメントを外してくださいreturn personAll行 - これにより例外が消去されます。

また、構文にいくつか問題があります。

あなたのコードスニペットは次のとおりです。

case class Person(id: String, dob: String, country: String, score: Double) 

def getResultRecords(persons: RDD[List[String]]): RDD[Person] = { 

    val personUS = persons.map(rec => Person(rec.head, rec(1),"US", java.lang.Double.parseDouble(cpg.getOrElse(rec.head,"0").toString())) 
    val personMX = persons.map(rec => Person(rec.head, rec(1),"MX",java.lang.Double.parseDouble(cpg.getOrElse(rec.head,"0").toString())) 
    val personAll = personUS.union(personMX) 
    return personAll 
} 

余分な括弧)がここに与えられている - Person(rec.head, rec(1),"US"。 returnステートメントがコメントアウトされました。