（YARNクライアントモードで）クラッシュした後にSparkエグゼキュータを再起動する方法はありますか？

Question

クラッシュ後にSparkエグゼキュータを再起動することはできますか？私は、失敗したタスクが既存のSparkエグゼクティブの作業員に再実行されていることを理解していますが、Sparkエグゼキュータをクラッシュさせて再起動する方法があることを願っています。

私はそれが不可能な

Answer 1

号には、クライアントモードでは、YARNにpyspark 1.6を実行しています。スパークがそれを処理し、エグゼクティブが死んだときには、エグゼクティブのために「リソースコンテナ」を次に要求するときに新しいものを要求します。

executorが処理するデータの近くにある場合Sparkはタスクのローカリティプリファレンスを与えられた新しいエグゼキュータを要求し、エグゼキュータが終了したホストが新しいものを実行するために再度使用される可能性があります。

executorは、タスクのためにスレッドを生成するJVMプロセスであり、正直なところ大したことはありません。データブロックに関心がある場合は、Sparkの外部シャッフルサービスの使用を検討する必要があります。

文書Job Schedulingの公式ドキュメントをお読みください。