GangliaをSpark 2.1用に統合する方法ジョブメトリック、Spark ignoring Ganglia metrics

Question

GangliaにSpark 2.1ジョブのメトリクスを統合しようとしています。

私の火花は、default.confが

*.sink.ganglia.class org.apache.spark.metrics.sink.GangliaSink 
*.sink.ganglia.name Name 
*.sink.ganglia.host $MASTERIP 
*.sink.ganglia.port $PORT 

*.sink.ganglia.mode unicast 
*.sink.ganglia.period 10 
*.sink.ganglia.unit seconds 

私は私の仕事を送信すると、私はあなたが持っている場合は警告し

Warning: Ignoring non-spark config property: *.sink.ganglia.host=host 
Warning: Ignoring non-spark config property: *.sink.ganglia.name=Name 
Warning: Ignoring non-spark config property: *.sink.ganglia.mode=unicast 
Warning: Ignoring non-spark config property: *.sink.ganglia.class=org.apache.spark.metrics.sink.GangliaSink 
Warning: Ignoring non-spark config property: *.sink.ganglia.period=10 
Warning: Ignoring non-spark config property: *.sink.ganglia.port=8649 
Warning: Ignoring non-spark config property: *.sink.ganglia.unit=seconds 

私の環境の詳細は

Hadoop : Amazon 2.7.3 - emr-5.7.0 
Spark : Spark 2.1.1, 
Ganglia: 3.7.2 

ある見ることができるようになります。 Gangliaの入力やその他の選択肢は返信してください。このページから

Answer 1

： https://spark.apache.org/docs/latest/monitoring.html

Spark also supports a Ganglia sink which is not included in the default build due to licensing restrictions: 

GangliaSink: Sends metrics to a Ganglia node or multicast group. 
**To install the GangliaSink you’ll need to perform a custom build of Spark**. Note that by embedding this library you will include LGPL-licensed code in your Spark package. For sbt users, set the SPARK_GANGLIA_LGPL environment variable before building. For Maven users, enable the -Pspark-ganglia-lgpl profile. In addition to modifying the cluster’s Spark build user 

Answer 2

spark docs

に応じてメートル法は、スパークが$ SPARK_HOME/confに/メトリックで存在することを想定している設定ファイルを介して設定されています。プロパティ。カスタムファイルの場所は、spark.metrics.conf設定プロパティで指定できます。

ので、代わりにspark-default.confでこれらの会議通話数を有するので、私はパッケージが含まれますが、そのメトリックの設定を無視している願っています神経節のセットアップとEMRのスパークを使用していた$SPARK_HOME/conf/metrics.properties