Scalaの場合はSparkContext.applicationId
を使用できますが、SparkのJava APIを使用して同じことを行う方法は見つかりませんでした。 spark.app.idSparkアプリケーションのapplicationIdをJavaのYARNにデプロイする方法は?
を使用することができる他の任意の固有IDがあります:はNoSuchElementExceptionでSparkConf.getAppId()
結果を使用して
?
私のユースケース:私はすでに存在しており、前のジョブの出力を削除避け、あなたがSparkContext.applicationId
を使用することができ、ランダムなUUID
ありがとう、リトライ回数も取得する方法はありますか?私はapplicationIdが再試行の場合に同じになると思います – user401445
アプリケーションIDを持っているときは、REST API(https://spark.apache.org/docs/latest/monitoring.html#rest-api)を使うことができますが、わかりませんそれ以外の方法があれば。 –