0
私はa、b、cと呼ばれる3つの企業を持っています。それらは1つのスパークストリーミングアプリケーションで処理されます。Spark Streamingで変数を保存して使用する方法は?
すべての企業がb1
とb2
に依存し、1つのバッチ処理ですべての事業を終えたとき、私は一度b1
とb2
の変更値を必要とします。つまり、私はb1
とb2
の値を最後の1つのビジネスが終了する前に変更する必要があります。おそらく最後の1つは、またはbまたはcです。どうやってするの?
object Variables extends Serializable{
var b1 = true
var b2 = false
}
object test{
def main(args: Array[String]){
val sc = new SparkContext
val sec = 3
val ssc = new StreamingContext(sc, Seconds(sec))
val input = ssc.socketTextStream("192.168.41.55", 12345)
// a business
input.transform(/*I need use b1,b2 in here*/).saveAsTextFiles("")
// b business
input.transform(/*I need use b1,b2 in here*/).saveAsTextFiles("")
// c business
input.transform(/*I need use b1,b2 in here*/).saveAsTextFiles("")
ssc.start()
ssc.awaitTermination()
}
}