行内の空の文字列を持つRDDから行を削除することはできますか？

Question

空の文字列を含むスカラーRDDからどのように行を削除しますか？

Answer 1

RDDにmyRDDという名前のRDDがあり、最初の要素が文字列であるタイプタプルがあるとします（コメントでこれを作成します）。

あなたは行うことができます：

val newRDD = myRDD.filter(x => (x._1 != null) && (x._1.length > 0)) 

フィルタは、ブール値に要素から機能を受け取ります。一般的に、長さをテストする前にnullでないことを確認することも重要です。