カスタムStatsDでエグゼキュータを設定する方法Sparkメトリックシンク

Question

エグゼキュータ用にStatsD sinkにSpark Streamingメトリックをシンクするにはどうすればよいですか？他の報告された問題（sink class not found、sink class in executor）と同様に

、私はドライバーの指標を得ることができますが、執行は私のセットアップでClassNotFoundExceptionを投げる：

• StatsD sinkクラスは私のスパーク・ストリーミング・アプリ（my.jar）
でコンパイルされています

• ​​で実行されます。jarを引っ張って

  • --files ./my.jar（スパークconfにはと、ドライバで設定されている）
  • --conf "spark.executor.extraClassPath=my.jar"

• をエグゼキュータにシンクを含む：

  val conf = new SparkConf() 
  
  conf.set("spark.metrics.conf.*.sink.statsd.class", 
       "org.apache.spark.metrics.sink.StatsDSink") 
      .set("spark.metrics.conf.*.sink.statsd.host", conf.get("host")) 
      .set("spark.metrics.conf.*.sink.statsd.port", "8125") 
  

Answer 1

することで、バグhttps://issues.apache.org/jira/browse/SPARK-18115を打つ見えます。私もそれを打つとあなたの質問をグーグル:(

Answer 2

あなたのjarファイルを$ SPARK_HOME/jarsフォルダにコピーします。