ヤーンUIでスパークジョブを失敗としてマーク

Question

このアプリケーションは、複雑なエコシステムの一部であり、Yarn Rest Apiを使用してすべてのジョブのステータスを追跡しています。

スパークジョブを失敗としてマークする必要がある特定のビジネスシナリオでは、私はスパークジョブエラー/例外またはSystem.exit（123）ジョブで発生させるものと関係なく、Gotchaの状況になっています。最後のステータスが「成功」として、紡績で終了とマークされます。

jarを使用してspark-submitを使用してスパークジョブを起動します。

object Execute { 
def main(args: Array[String]) { 
    val sc = new SparkContext(sparkConf) 
    if(businessException needs to be raised) 
     //What to do??? 
} 
} 

物事私はスパークジョブで試してみました：

• スロー新しいエラー（ "どのような"）
• スロー新しい例外（ "どのような"）
• にSystem.exit（123）
• sys.exit（123）

誰かが私にどのようにして糸のUIで失敗したようなジョブを開始します。

Answer 1

これは気にしないでください。 Jarnの複数のバグから明らかなように、Yarnのスパーク・アプリケーションの報告は、いずれにしても不安定であり、場合によってはSucceededがFailedとしてスパーク・ジョブをマークし、その逆も同様です。

最終的な状態（エラー、成功など）を記録するために、独自のdbテーブルを作成しました。これは、条件によってはスパークジョブから更新されます。