スパークドライバの高可用性

Question

スパークアプリケーションを糸クラスターモードで実行しています。私のドライバは何とか再起動したようです。この結果、最初からすべてのデータを再処理することになります（私はいくつかのテーブルを作成し、いくつかのデータをハッシュしていました。

これが起こらないようにする方法と、ドライバの高可用性を導入する方法はありますか？

Answer 1

あなたのドライバが再起動されたという事実は、SparkのHAの解釈です。再始動は、エラーが発生したときにトリガーされます。

あなたはあなたの仕事のconfであなたのHadoopの構成設定への

spark.yarn.maxAppAttempts 

パスかかわらず、次のプロパティを使用して試行の量を制御することができます。