非常に長いスパーク・ジョブがありますが、現在は少数のタスクが停止しています。ドライバノードからストールしたタスクを強制終了する方法はありますか？1回のスパーク・タスクを終了する
私はログインすることはできますが、スレーブノードのジョブを強制終了することはできません。そのため、ドライバノードだけでこれを行う方法を探しています。私がSparkの仕事全体を殺したくないということに注意してください.1つか2つのストールした仕事だけです。
私が役に立ったら、私はMesosを使用しており、Web UIにアクセスできますが、タスクを強制終了するオプションはありません。
いいえ、実際はありません。
個々のスパークタスクを手動で終了することはできませんが、スパークスペキュレーションを使用して、どのタスクが長すぎるかを自動的に判断し、事前に再起動することができます。あなたがそれをしたい場合は
は、[あなたは勇気があるなら] spark.speculation.interval、spark.speculation.multiplier、spark.speculation.quantile設定オプションを変更するtrueにspark.speculationを設定します。
関連ドキュメント： http://spark.apache.org/docs/latest/configuration.html#viewing-spark-properties
SO関連：How to deal with tasks running too long (comparing to others in job) in yarn-client?
スパークUIを使用すると、個々のタスクを殺すために、私は、彼らが再スケジュールを考えると、次の時間を働くことができているようです。これは、タスクを強制終了するためのAPIがあることを示しているようです。それを使用するには、おそらく多くの手動作業が必要になります。私は同じ問題を苦しんでいるし、投機が現在他の問題を引き起こしているので、私はそれを試して議論している。 –
Spark UIでは、ジョブステージを強制終了できますが、個々のジョブタスクを強制終了する機能は認識していません。 UIでの作業の中断はどこで可能ですか？ – Garren
あなたは正しい、私の謝罪です。私は間違った言葉を使い、ステージを考えていました。 –