Apache SparkでExecutorAllocationManagerSourceメトリックを有効にする方法

Question

Apacheのスパークで一般的なメトリックを有効にするドキュメントは、一種の薄い：インスタンス内

は、「ソース」は、グループ化されたメトリックの特定のセットを指定します。

Sparkコンポーネントの内部状態を収集するMasterSource、WorkerSourceなどのSpark内部ソースは、次の2種類のソースがあります。各インスタンスは、自動的に追加されるSparkソースとペアになります。

低レベルの状態を収集するJvmSourceのような一般的なソース。これらは設定オプションで追加でき、リフレクションを使用してロードされます。

すべての例の形式は次のとおりです。

master.source.jvm.class=org.apache.spark.metrics.source.JvmSource 

クラスではないが、この上のもっともらしい、外見上の変化のどれもが、私はExecutorAllocationManagerSource

で生成されたメトリックを公開することができませんユニットがテストされており、私は他のドキュメントやサンプルを見つけることができません。

Answer 1

実際、これらのメトリックはExecutorAllocationManagerSourceの特別な構成なしで公開されています。ただし、関連するコードパスがアクティブであるかどうかを確認するだけです。この場合、動的エグゼキュータの割り当てを有効にすることを意味します。

私のクラスタは、動的エグゼキュータ割り当てなしで誤って設定されていました。これを有効にすると、これらのメトリックは特別な構成なしにドライバメトリックで公開されます。