カピバラの統合テストでランダムなデータを使用すべきですか？

Question

私は約15ステップのウィザードの非常に長い統合テストを書いています。これらの各ステップには約20の入力/選択ボックスがあります。

私はテストで静的なデータを使い始めましたが、今は選択ボックスからランダムな値を選択し、オプションのラジオボタンをクリックするようなものを書き始めました。これは、例えば、バグを捕まえる能力があるようです。ページ上のボタンの1つが正しく表示されず、値が決してデータベースに保存されないことがあります。これは、毎回同じオプションを選択する静的データを使用して決して検出されませんでした。あるいは、選択可能なすべてのオプションを手動で書き出すこともできますが、これは永遠に行うことができます。

ランダムデータを使用しない主な理由の1つは、テストで使用されたデータを明示的に見ることができず、失敗したテストを解決しにくくなることです。

私が避けなければならないこの道はありますか？またはこの方法で一般的に行われているテストを行っていますか？

Answer 1

これは、本質的に自動化ではなくQAの質問です。あなたは毎回の順列をテストするのにも時間と労力にかける価値があるのか​​どうか、自分とチームに尋ねる必要があります。通常はそうではありません。私の経験では、ウィザードで最も一般的なユーザーの旅に関する情報を入手し、そこから分岐することが最善です。私は自動化の観点から最初に取り組み、リスクの低いパスに移動します。

デベロッパーが比較的些細なことを確認する危険性の低い地域（例えば、真偽のラジオボックス）でランダムデータを使用するのが好きで、バグを捕まえるために出力を正しくログに記録することができます。