クラスタでスパークジョブが実行されている場合、リモートから知る方法

Question

私はec2クラスタ上でスパークジョブを実行しています。ジョブを定期的に送信するトリガーがあります。 1つのジョブが既にクラスタ上で実行されている場合、ジョブをサブミットしたくありません。この情報を私に与えることができるAPIはありますか？

Answer 1

スパーク、および拡張により、スパークストリーミングは、現在のアプリケーションの状態をコンサルティングhttp://<host>:4040/api/v1

で運用REST APIを提供しますが、あなたに求める情報を提供します。

は、マニュアルを参照してください：https://spark.apache.org/docs/2.1.0/monitoring.html#rest-api

Answer 2

あなたは状況 などを確認するためにUIを相談することができます。 ローカルで実行する場合は、localhostを参照してください。4040