スパーク

Question

に別のRDDに基づくRDDをフィルターI持っているこのRDDの私はフィルタリングすると、それは次のように見えること：

End of field Start of field Connection duration 

：私はこのようなことを最初の6行をフィルタリングしたい

text (06.07.03.216) COPYRIGHT © skdjh 2000-2015 
File 160614_54554.vf Database 53643_csc Interface 574 zn 65 
Start Date 14/06/2016 00:00:00:000 
End Date 14/06/2016 00:14:59:999 
State "S587654" 

End of field Start of field Connection duration 

これを達成するための最も効率的な方法は何ですか？私は考えました。 オプション1：この行 これを行うための最善の方法は何をフィルタリングすることができる関数を作成：新しいRDDは、この行が含まれ、それらは は、オプション2の参加を持つフィルタを作成？ ありがとう！

Answer 1

私はちょうど最初のnラインを取り除くために考えることができる唯一の方法はこれです：パージ最初nエントリバックRDD[String]にあなたを取得する必要があります

data.zipWithIndex.filter(_._2 > n).map(_._1)

。

一般的にdropであることを避ける方法を探すことが好ましいですが、RDDにあります。