スパーク

Question

に特定の文字で始まる行、私はこのようになりますテキストファイルを持っているを取得します。これは私が試したことです：

val lines = sc.textFile("textfile.txt") 
val reg = "^ABC".r 
val abc_lines = lines.filter(x => reg.pattern.matcher(x).matches) 
abc_lines.count() 

0が返されるので、何が問題になるのですか？

Answer 1

正規表現は必要ありません。これはstartsWithメソッドだけです。

val abc_lines = lines.filter(x => x.startsWith("ABC")) 

Answer 2

メソッドマッチングは期待したとおりではありません（ドキュメントを参照してください）。あなたがfindFirstInメソッドを使用することができますMatching against a regular expression in Scala

Answer 3

- あなたがここでより多くの情報を見つけることができます

val list2 = List("ABC", "DEF gibberish", "ABC text", "DEF random") 
val lines2: Seq[String] = list.filter(reg.findFirstIn(_).isDefined) 
println(lines2.size) 

：

あなたはこのコードを使用することができ、その代わり

val list = List("ABC", "DEF gibberish", "ABC text", "DEF random") 
val reg = "^ABC".r 
val lines: Seq[String] = list.filter(x => reg.pattern.matcher(x).matches) 
println(lines.size) 

を理解するために、このスニペットを試すことができます正規表現次のように

val abc_lines = lines.filter(x => "^ABC".r.findFirstIn(x) == Some("ABC")) 

正しい結果が得られるはずです。

はスパークであなたTask not serializableエラーメッセージを与えるだろう、次の

val reg = "^ABC".r 
val abc_lines = lines.filter(x => reg.findFirstIn(x) == Some("ABC"))