elasticsearch-sparkからメトリックを取得

Question

ETLカスケードジョブの最後に、Hadoop metricsを使用してElasticsearchの取り込みに関するメトリクスを抽出します。elasticsearch-hadoopはHadoopカウンタを使用して公開します。

私はSparkを使用して同じことをやりたいのですが、Spark connectorを使用している指標に関するドキュメントは見つかりません。

常にそうではありませんが、通常はEMR（Hadoop）でジョブを実行します。Spark connectorは、カスケードコネクタと同じ方法でHadoopを使用しています。とにかく、私はそれがカスケードのような "MapReduceコネクタタイプ"のためだと思うので、そうではないと思います。

だから私の質問は以下のとおりです。

1. Elasticsearchスパークコネクタからメトリックを抽出する方法は？
2. コネクタがHadoop Countersを使用している場合、Hadoop YarnでSparkのHadoop Countersにアクセスする方法を教えてください。

バージョン：

• スカラ基本的2.11.8
• スパーク2.1
• のHadoop 2.7.2
• elasticsearch-火花20_2.11 5.2.2

Answer 1

実装されていません。 ticket on Spark, opened on 01/Apr/16があり、まだアクティビティがない状態で開いているので、誰もそれを処理しません。

discussion in the ES forumでも、回避策はありません。