私が保守しているアプリの自動回帰テストスイートに取り組んでいます。自動回帰テストを開発している間、私はいくつかの動作を実行しました。これはほぼ確実にバグです。だから、今のところ、私は自動回帰テストを修正して失敗を登録しないようにしました。それは意図的にこの悪い振る舞いを許しています。失敗を登録し続けるべきですか?
私はこのサイトの他の人の意見に興味があります。明らかに、このエラー動作が修正されるように、私は欠陥追跡にバグを追加します。しかし、回帰テストを変更して常に失敗を示すか、回帰テストを破ったままにして、欠陥のある行動を修正するまで失敗しないような説得力のある理由はありますか?私はこれを他のタイプの質問のうち6つのうちの6つと考えていますが、私は他の人がそれを違う方法で見るかもしれないと思ったのでここで尋ねます。
@Paul Tomblin、
ただ、明確にするために - I'veテストを削除するとは見なされません。私は、テストを実行するたびに顔に投げ込まれることなく、失敗を許すために合格/不合格の条件を変更することを検討していました。
私はC++で警告のように扱われる既知の原因からの繰り返しの失敗について少し気になります。私はC++コードで警告を見て、単に無用なノイズだと思うので無視するだけの開発者を知っています。私は、回帰スイートに既知の失敗を残すことは、人々が他の、おそらくより重要な失敗を無視し始める恐れがあることを恐れている。
私は誤解されることがありますので、私はC++の警告を強力なコードを作成する上で重要な助けになると考えていますが、私が会った他のC++開発者から判断すると少数派です。