HD Insight（YARN）でスパークストリーミングジョブを永久に実行する方法を教えてください。

Question

IntelliJでHD Insights Cluster（YARNベース）で動作するスパークアプリケーションを開発しています。現在、IntelliJから直接Azure HD Insightsプラグインを使用してジョブを送信しています。これは、順番に、Livy APIを使用してリモートからジョブを送信します。

私がコードを開発し終えると、私はストリーミングジョブを永久に実行したいと思います。現在、ジョブが5回失敗すると、プログラムは停止し、それ自体は再起動しません。この動作を変更する方法はありますか？または、ほとんどの人が失敗後に再始動させるためにどのようなソリューションを使用しますか？

Answer 1

糸の再始動スパークジョブは、糸の設定によって制御されます。糸のスパークアプリケーション（糸アプリケーションマスター）の再起動回数を増やす必要があります。私はそれがだと信じています：yarn.resourcemanager.am.max-attempts。 HDInsightでAmbari UIにアクセスし、糸 - >構成 - >高度糸 - サイトでこの設定を変更します。ここで説明するように、あなたが直接リウィウスのAPIを使用することができ、生産ジョブを送信するために

：https://docs.microsoft.com/en-us/azure/hdinsight/hdinsight-apache-spark-eventhub-streaming#run-the-application-remotely-on-a-spark-cluster-using-livy