自動化されたテストケースの実行 - 停止するタイミング

Question

私たちのシステムには約100のテストケースがあります。私たちは、そのための自動テストスイートを構築しようとしています。

テストの実行中は、25番目のテストが失敗すると言います。自動化されたテストシステムがここで救済され、実行が中止されるか、失敗したとマークして、テストケースを26回以上実行しようとしているかどうか（つまり、すべてのテストサイクルはテストケースに関係なく100のテストケースすべてを実行します）。

テストケース26を実行するためにシステムをリセットする必要がある場合は、テストケースが失敗した後に（たとえば、No 25）、それが処理されます。

おかげ

ジェームズ

Answer 1

あなたのテストが独立している場合 - あなたはそれらのすべてを完了する必要があります。これにより、システムの安定性を監視し、テストを何度も再実行することなく、すべての問題を一度に見ることができます。

Answer 2

人間の介入なしで実行されている場合、自動ビルドの一部として、私はすべてのテストを試みたいと思うでしょう。

しかし、人が止まる時間を節約できる問題を修正するモードがあります。それが簡単な場合は、「最初の失敗で停​​止する」オプションを提供したいと思います。