4
次のコードでは、Spark Web UIのステージセクションにあるように、関数fn1 & fn2がinRDDに順次適用されるようです。Spark DStreamのforeachDD関数でのRDDでの同時変換
DstreamRDD1.foreachRDD(new VoidFunction<JavaRDD<String>>()
{
public void call(JavaRDD<String> inRDD)
{
inRDD.foreach(fn1)
inRDD.foreach(fn2)
}
}
このようにストリーミングジョブを実行すると、どのようになりますか。以下の機能は入力Dstreamで並列に実行されますか?彼らはグラフのマテリアを引き起こす意味、出力変換あるのでDStream
上RDD
とforeachRDD
上
DStreamRDD1.foreachRDD(fn1)
DStreamRDD2.foreachRDD(fn2)
は両方とも順呼出しであり、その並行処理は行われません。 – Shankar