Spark 2.1.1：ストラクチャードストリーミングクエリに変数をバインドする方法

Question

変数を使用して、2つの変数値の範囲内のエントリを選択したいとします。私のSQLクエリはString sql = "Select count(*) FROM Records WHERE event_time <= UPPERTIME('1') AND event_time >= LOWERTIME('1')";です。このクエリUPPERTIME('1')とLOWERTIME('1')でUDFとそこ定義は

spark.udf().register("LOWERTIME", new UDF1 < String, String >() { 
     @Override public String call(String lowertime) { 
      System.out.println("lowerTime="+lowerTime.toString()); 
      return lowerTime.toString(); 
      } 
      }, DataTypes.StringType); 


spark.udf().register("UPPERTIME", new UDF1 < String, String >() { 
     @Override public String call(String uppertime) { 
      System.out.println("upperTime="+upperTime.toString()); 
       return upperTime.toString(); 
      } 
      }, DataTypes.StringType); 

されているUDFに渡される引数はダミーであり、私は実際にはグローバル変数「upperTimeとlowerTime」を返しています。

上記のクエリを実行すると、テーブル内のすべてのエントリの数が表示されますが、条件によっては、指定した範囲内のエントリ数に対応する数が表示されます。何がうまくいかないのですか？

Answer 1

私はドライバでこれらのグローバル変数を変更し、エグゼキュータは変更を認識しないと考えています。エグゼキュータ・プロセスは、通常、別のノード上にあり、別のノード内の別のプロセス内の通常の変数にはアクセスできません。

一般に、Sparkでグローバル変数を使用することは悪い考えです。 Sparkはエグゼキュータとドライバの間で変数を共有するためにbroadcast variablesを提供します。