Spark：各エグゼキュータでrddを処理する前にカスタムメソッドを呼び出してください。

Question

sparkストリーミングアプリケーションで作業しています。私は特定の条件を確認する必要があるという要件を持っています（ローカルFSに存在するファイルを読むことによって）。 私がやってみました：

lines.foreachRDD{rdd => 
verifyCondition 
rdd.map() .. 

} 



def verifyCondition(){ 
... 
} 

をしかしverifyConditionはドライバによって実行されています。各エグゼクティブが実行できる方法はありますか？

おかげ

Answer 1

内部のマップは、環境と一緒に機能を格納したレコード閉鎖（閉鎖されているので、あなたは

rdd.map{ 
    verifyCondition 
    ... 
} 

のような）（rdd.map内verifyCondition機能を移動することができます）、sparkはエグゼキュータ上でそれを配布し、各エグゼキュータによって実行されます。

Answer 2

lines.foreachRDD { rdd => 
    rdd.foreachPartition => partition 
    verifyCondition(...) // This will be executed by executors, once per every partition 
    partition.map(...) 
    } 
}