LivyサブミットでSparkジョブの再試行を設定します。

Question

Livyを使用して長時間実行しているSparkバッチジョブを送信すると、ジョブはデフォルトで5回再試行され、最終的には失敗します。これを変更してジョブがすぐに失敗するようにするにはどうすればよいですか？

私の環境はAzure HDInsight（HDP）で動作するSpark 1.6です。

ありがとうございます！

Answer 1

これはあなたの糸の構成であり、Livyの構成ではありません。 "advanced yarn-site"の糸の構成ページに行き、再試行しない場合は "yarn.resourcemanager.am.max-attempts"を5から1に変更してください。