同じクラスタ上でスパークするために複数のアプリケーションが送信された場合、sparkはファーストインファーストアウトファッションでそれらを注文し、前回の終了までジョブを開始できません。アプリケーションをキューをスキップさせ、スケジューラーで実行する次のアプリケーションにする方法を見つけようとしています。これを行う方法はありますか？私はドキュメントやユーザーインターフェイスから何も見つけることができません。スパークスケジューラ実行するアプリケーションを強制的に実行
最初のアプリケーション/ジョブの後に開始された場合、個々のアプリケーションまたはジョブを強制的に別のアプリケーションまたはジョブに先行させることはできません。
ただし、キューでエグゼキュータのためにキューが競合しないように、キューを適切に設定する必要があります。この場合、キューの1つにsparkの全エグゼキュータの最大100％を使用する能力がありました。そのキューでは、アプリケーション/ジョブのバグのために、スパークジョブがキューに入れられて処理されませんでした。実行されたキューはエグゼキュータの100％までのアクセス権を持っていたため、その後の各ジョブはキューに関係なく実行を完了するまで待たなければならず、クラスタ全体がバックログになりました。