Apache Sparkとリモートメソッドの呼び出し

Question

Apache Sparkの背後での動作を理解しようとしています。 Sparkで少しコーディングした後、私はそれがRDDをRMIとして実装していることをかなり確信していますリモートオブジェクト、そうですか？

このようにして、maps、flatMapsなどの変換の中でそれらを変更することができます。 RDDの一部ではないオブジェクトは、単にシリアル化され、実行中にワーカーに送信されます。

ストリングtoFindを単にシリアル化と労働者にコピーされながら、以下の例では、linesとtokensは、リモートオブジェクトとして扱われます。

val lines: RDD[String] = sc.textFile("large_file.txt") 
val toFind = "Some cool string" 
val tokens = 
    lines.flatMap(_ split " ") 
     .filter(_.contains(toFind)) 

私は間違っていますか？私は少しgoogledしかし、私はスパークRDDが内部的にどのように実装されているかについての参照が見つかりませんでした。

Answer 1

あなたは正しいですか？ Sparkは、リモートメソッド呼び出しを実行するためにクロージャをシリアル化します。