5回のうち3回以上の実行が成功した場合の合格試験

不安定なテスト環境があり、環境問題によって一部のテストが失敗することがあります。5回のうち3回以上の実行が成功した場合の合格試験

私は、各テストが最大5回実行されることを望み、少なくとも3回の実行が成功した場合、成功と見なされます。

TestNGでどのように達成できますか？

2016-10-19 dzieciou

私はこれをお勧めしないで、代わりに環境問題を解決します。一時的にする必要がある場合はテストを無効にしてください。しかし、これは危険な道のりです。 –

環境問題による不具合とソフトウェア不具合による不具合をどのように区別しますか？ソフトウェアのバグは5回中3回も成功する可能性があります。コードが何らかの理由で失敗した場合は、単体テストに合格したくありません。 –

生産が5回失敗した場合、幸せになるでしょうか？注：あなたは幸運を得ないことがあります。ほとんどの時間に失敗した場合でも、5回のうち3回は成功する可能性があります。 –

TestNGには、このようなケースを処理する機能があります。それはIRetryAnalyzerインターフェイスです。実装の例を簡単に見つけることができます。

これを使用する前に、これ以外のオプションがないことを明確に理解しておく必要があります。ステークホルダーと話し、環境を安定させる方法を見つけよう。そのようなテストケースの数が増える一方で、失敗分析で一日を過ごすだけで、回帰死のループに深く関わっていきます。

2016-10-20 04:41:13 RocketRaccoon

答えて