reduceByKeyの「エラー：単純な式の開始が不正です」はなぜですか？

Question

私はscalaとsparkに新しいですし、reduceByKeyを実装している間、私は以下のエラーを受け取りました。

var redRdd = filterRdd.reduceByKey((acc , val) => if (acc > val) acc else val) 
<console>:1: error: illegal start of simple expression 
var redRdd = filterRdd.reduceByKey((acc , val) => if (acc > val) acc else val) 

filterRddは単なる（order_id、量）タプルです。

scala> filterRdd.first 
res10: (Int, Double) = (1,299.98) 

パーティションごとに最大値を取得してから、すべてのパーティションの出力を減らしたいと考えています。 誰かがこのエラーが発生する理由を理解するのに役立つことができますか？

Answer 1

valはscalaのキーワードであり、valという名前の変数を持つことはできません。それを動かすvに変更してください。

var redRdd = filterRdd.reduceByKey((acc , v) => if (acc > v) acc else v) 

でも動作します。

if elseの代わりにmath.max(acc,v)を使用できます。