YARNクラスタモードでのスパーク監視REST API

SparkがYARNクラスタモードでデプロイされている場合、Spark監視REST APIコールをどのように発行する必要がありますか？http://spark.apache.org/docs/latest/monitoring.html？YARNクラスタモードでのスパーク監視REST API

は正しいドライバのポートへのプロキシを、

http://localhost:4040/api/v1/applications/[app-id]/jobs

を（私はすでにアプリ-IDを知っている）糸は例えばREST呼び出しを取るAPIを持っていて、私に戻ってJSONを返します？「私」とは、私のクライアントを意味します。

私は、セキュリティ上の理由からドライバのマシンと直接話すことはできません。その最新のAPIとのREST API

はい -

出典

2016-10-01 jasonw

が含ま提出..利用可能な他のオプションですこの？私は現在、同じ問題を抱えています - Sparkアプリケーションがサブミットされ、管理されるときにヒストリサーバーAPI（[ホスト]：18089：/ api/v1/applications/[app-id/jobs]）を使用してジョブ情報を取得する方法糸を通して？ Yarnを使用する場合、履歴サーバーAPIはSpark Appに関連するデータを提供しますが、Appが終了するまでのジョブは提供しません。ただし、Sparkスタンドアロンモードでは、ヒストリサーバーAPIは、アプリケーションの実行中にジョブに関連するライブデータを提供します。 – steswinbank

のplsはspark docs を見てみましょう。

この記事によって

It turns out there is a third surprisingly easy option which is not documented. Spark has a hidden REST API which handles application submission, status checking and cancellation.

UIに指標を表示することに加えて、彼らはまた、JSONとしてご利用いただけます。これにより、開発者はSparkの新しいビジュアライゼーションと監視ツールを簡単に作成できます。 JSONは、実行中のアプリケーションと履歴サーバーで使用できます。エンドポイントは/ api/v1にマウントされます。たとえば、履歴サーバーの場合、通常http：//：18080/api/v1、実行中のアプリケーションの場合はhttp://localhost:4040/api/v1にアクセスできます。

これらは、あなたがの底に手に入れた

リウィウスのジョブサーバ

がSpark jobs remotely to an Apache Spark cluster Linux using Livy

その他のオプションは

Triggering spark jobs with REST

出典

2016-10-01 06:38:09

YARNクラスタモードでのスパーク監視REST API

答えて

関連する問題