Spark＆Scala - RDDからヌル値をフィルタリングできません

Question

RDDからヌル値をフィルタリングしようとしましたが失敗しました。ここに私のコードは次のとおりです。

val hBaseRDD = sc.newAPIHadoopRDD(conf, classOf[TableInputFormat], 
     classOf[org.apache.hadoop.hbase.io.ImmutableBytesWritable], 
     classOf[org.apache.hadoop.hbase.client.Result]) 

val raw_hbaserdd = hBaseRDD.map{ 
    kv => kv._2 
} 

val Ratings = raw_hbaseRDD.map { 
     result => val x = Bytes.toString(result.getValue(Bytes.toBytes("data"),Bytes.toBytes("user"))) 
       val y = Bytes.toString(result.getValue(Bytes.toBytes("data"),Bytes.toBytes("item"))) 
       val z = Bytes.toString(result.getValue(Bytes.toBytes("data"),Bytes.toBytes("rating"))) 

       (x,y, z) 
    } 
Ratings.filter (x => x._1 != null) 

Ratings.foreach(println) 

デバッグは、NULL値がまだフィルターの後に登場したとき：

(3359,1494,4) 
(null,null,null) 
(28574,1542,5) 
(null,null,null) 
(12062,1219,5) 
(14068,1459,3) 

任意のより良いアイデア？

Answer 1

Ratings.filter (x => x._1 != null) 

を、これは実際にRDDを変換しますが、あなたはそうではありませんその特定のRDDを使用します。あなたが間違っているとしようとすることができます

Ratings.filter(_._1 !=null).foreach(println) 

Answer 2

RDDは、変更不可能なオブジェクトです.RDD上の変換によって元のRDDは変更されず、新しいRDDが生成されます。だから、 - あなたはRDDを使用する必要がありますが、filterの効果を確認したい場合は（ちょうどあなたがmapの結果をどうのように）filterから返さ：

val result = Ratings.filter (x => x._1 != null) 
result.foreach(println)