Pytest：クラス内の残りのテストをスキップして失敗した場合の方法

Question

Jenkins、Python、Selenium2（webdriver）、Py.testフレームワークを使用して、Webテストのテストケースを作成しています。

これまでのところ、私は次のような構造で私のテストを整理しています：

各クラステストケースであり、各test_方法はテストステップです。

この設定は、すべてが正常に機能している場合には効果的ですが、1つのステップがクラッシュしたときに残りの「テストステップ」が狂ってしまいます。私はteardown_class()の助けを借りてクラス（テストケース）の中に失敗を含めることができますが、私はこれを改善する方法を検討しています。

test_メソッドのうちの1つが失敗した場合は、残りのテストケースが実行されずFAILEDとマークされるように、何とかスキップ（またはxfail）する必要があります。偽陽性）

ありがとう！

更新：私はそのように呼び出すことは非常に議論の余地があるので、それは悪い練習ではないと答えています。 （各テストクラスは独立していて、それで十分です）。

UPDATE 2：各テストメソッドに「if」条件を付けることはオプションではありません - 繰り返したくさんの作業があります。私が探しているのは（たぶん）誰かがクラスメソッドにhooksを使う方法を知っているということです。

Answer 1

私は一般的な "テストステップ"のアイデアが好きです。私はそれを「インクリメンタル」テストと呼んでおり、機能テストのシナリオIMHOで最も理にかなっています。ここで

は（公式フック拡張子を除く）pytestの内部詳細に依存しない実装です：

import pytest 

def pytest_runtest_makereport(item, call): 
    if "incremental" in item.keywords: 
     if call.excinfo is not None: 
      parent = item.parent 
      parent._previousfailed = item 

def pytest_runtest_setup(item): 
    previousfailed = getattr(item.parent, "_previousfailed", None) 
    if previousfailed is not None: 
     pytest.xfail("previous test failed (%s)" %previousfailed.name) 

あなたは今、このような「test_step.py」をお持ちの場合：

import pytest 

@pytest.mark.incremental 
class TestUserHandling: 
    def test_login(self): 
     pass 
    def test_modification(self): 
     assert 0 
    def test_deletion(self): 
     pass 

は、それが（XFAILの理由を報告するために-rx使用して）次のようになります実行している：

(1)hpk@t2:~/p/pytest/doc/en/example/teststep$ py.test -rx 
============================= test session starts ============================== 
platform linux2 -- Python 2.7.3 -- pytest-2.3.0.dev17 
plugins: xdist, bugzilla, cache, oejskit, cli, pep8, cov, timeout 
collected 3 items 

test_step.py .Fx 

=================================== FAILURES =================================== 
______________________ TestUserHandling.test_modification ______________________ 

self = <test_step.TestUserHandling instance at 0x1e0d9e0> 

    def test_modification(self): 
>  assert 0 
E  assert 0 

test_step.py:8: AssertionError 
=========================== short test summary info ============================ 
XFAIL test_step.py::TestUserHandling::()::test_deletion 
    reason: previous test failed (test_modification) 
================ 1 failed, 1 passed, 1 xfailed in 0.02 seconds ================= 

私はここで "xfail"を使用しています。なぜなら、間違った環境や間違ったインタプリタのバージョンのスキップがあるからです。

編集：あなたの例も私の例も、分散テストでは直接動作しないことに注意してください。このため、pytest-xdistプラグインは、クラスのテスト機能を通常は異なるスレーブに送信する現在のモードではなく、1つのテストスレーブに全面的に送信されるグループ/クラスを定義する方法を拡張する必要があります。

Answer 2

あなたは何をしているのが一般的に悪い習慣です。それぞれのテストは、他のテストの結果に完全に依存しながら、他のテストとできるだけ独立している必要があります。

とにかく、the docsを読むと、あなたが望むような機能が実装されていないように思えます（おそらく役に立たないと思われたからです）。

この問題を回避するには、クラスにいくつかの条件を設定するカスタムメソッドを呼び出すテストを「不合格」、および「SKIPIF」デコレータで各テストをマークすることができます

あなたが行うことができます

class MyTestCase(unittest.TestCase): 
    skip_all = False 

    @pytest.mark.skipIf("MyTestCase.skip_all") 
    def test_A(self): 
     ... 
     if failed: 
      MyTestCase.skip_all = True 
    @pytest.mark.skipIf("MyTestCase.skip_all") 
    def test_B(self): 
     ... 
     if failed: 
      MyTestCase.skip_all = True 

か各テストを実行する前にこの制御を行い、最終的にpytest.skip()を呼び出します。

編集： xfailとしてマークすることは、同じ方法で行うことができますが、対応する関数呼び出しを使用して行うことができます。

おそらく、各テストのボイラープレートコードを書き換える代わりに、デコレータを書くことができます（おそらく、メソッドが失敗したかどうかを示す "フラグ"を返す必要があります）。

とにかく、私が指摘したいのは、これらのテストの1つが失敗した場合、同じテストケースで他の失敗したテストが誤ったポジティブと見なされるべきであるということです。 ハンド"。出力をチェックし、偽陽性を発見するだけです。 これは退屈かもしれませんが./error prone。

Answer 3

更新日： @ hpk42答えをご覧ください。彼の答えはあまり邪魔にならない。今

from _pytest.runner import runtestprotocol 
import pytest 
from _pytest.mark import MarkInfo 

def check_call_report(item, nextitem): 
    """ 
    if test method fails then mark the rest of the test methods as 'skip' 
    also if any of the methods is marked as 'pytest.mark.blocker' then 
    interrupt further testing 
    """ 
    reports = runtestprotocol(item, nextitem=nextitem) 
    for report in reports: 
     if report.when == "call": 
      if report.outcome == "failed": 
       for test_method in item.parent._collected[item.parent._collected.index(item):]: 
        test_method._request.applymarker(pytest.mark.skipif("True")) 
        if test_method.keywords.has_key('blocker') and isinstance(test_method.keywords.get('blocker'), MarkInfo): 
         item.session.shouldstop = "blocker issue has failed or was marked for skipping" 
      break 

def pytest_runtest_protocol(item, nextitem): 
# add to the hook 
    item.ihook.pytest_runtest_logstart(
     nodeid=item.nodeid, location=item.location, 
    ) 
    check_call_report(item, nextitem) 
    return True 

conftest.pyまたはは私の問題を解決しプラグインとしてこれを追加する：

これは私が実際に探していたものです。
blockerテストに失敗した場合は、テストを中止するように改善されました。 （これ以上のテストは役に立たないという意味です）

Answer 4

または非常に単純代わりにCMD（またはTOXあるいはどこ）からpy.testを呼び出すだけ呼び出し：

py.test --maxfail=1 

は、複数のスイッチのためにここを参照してください： https://pytest.org/latest/usage.html

Answer 5

• あなたが」 d N個の失敗後にテストの実行を中止する（特定のテストクラスではない）コマンドラインオプションpytest --maxfail=Nが行く方法です： https://docs.pytest.org/en/latest/usage.html#stopping-after-the-first-or-n-failures

• あなたの代わりにそれらのいずれかがを、失敗した場合は、複数のステップで構成されているテストを停止（および他のテストの実行を継続）は、クラス内のすべてのあなたのステップを入れなければならない、と@pytest.mark.incrementalを使用したい場合そのクラスのデコレータを開き、conftest.pyを編集してこのdocoページのコードを表示してください https://docs.pytest.org/en/latest/example/simple.html#incremental-testing-test-steps。

Answer 6

pytest-dependencyをご覧ください。他のテストが失敗した場合、いくつかのテストをスキップできるプラグインです。 あなたのケースでは、gbonettiが説明した増分テストがより適切であるようです。