RDD

Question

へ/からフィールドを選択/追加私はRDDはtimestamp、url、...などの分野でdataRddを言うことができますしました私はこのdataRddからいくつかのフィールドで新しいRDDを作成したい

。コードセグメント続い

はtimestampとURLは値ではなく、フィールド/列の名前と考えられる新しいRDDを、作成：

var fewfieldsRDD= dataRdd.map(r=> ("timestamp" -> r.timestamp , "URL" -> r.url)) 

しかし、コードセグメント、one、two、three、arrival、及びSFO以下で列名として考えられている。：

val numbers = Map("one" -> 1, "two" -> 2, "three" -> 3) 
val airports = Map("arrival" -> "Otopeni", "SFO" -> "San Fran") 
val numairRdd= sc.makeRDD(Seq(numbers, airports)) 

誰も私が間違って何をやって教えてもらえますし、どのように私はレコード生成することができますe別のRddの値にマッピングされたフィールド名を持つ新しいRdd？

Answer 1

Mapではなく、タプルのRDDを作成しています。試してください：

var fewfieldsRDD= dataRdd.map(r=> Map("timestamp" -> r.timestamp , "URL" -> r.url))