Amazon Device Farmの予期しないKIFテストフロー

Question

Amazon Device FarmでKIFテストスイートを実行しています。私は仕事を提出するときにXCTestを選択しました。テストをXcodeからローカルで実行するのとは異なる予期しない実行フローが発生しました。

KIFバージョンは3.5.1、Xcodeバージョンは8.2です。

KIFTestCaseはXCTestCaseをサブクラス化し、KIFテストステップを実行するために使用できるセットアップおよびティアダウンステップを追加します。すべてのテストの前後に一度実行される "beforeAll"と "afterAll"、 "beforeEach"と "afterEach"すべてのテストの前後に実行されます。 だから、私は3つのテストケースとテストスイートを持って、流れは次のようになります。

beforeAll beforeEach test1のafterEach beforeEach test2はafterEach beforeEach test3にafterEach

やっぱ私は上のXcodeでローカルにテストを実行したりするとJenkins、それは上記のフローシーケンスに従います。私はアマゾン・デバイス・ファームにジョブを送信する際 はしかし、私は次のようにそれが動作することをログとしてだけでなく、ビデオからそれを見ることができます：

beforeAll beforeEach test1のafterEachやっぱ beforeAll beforeEach test2はafterEachやっぱ beforeAll beforeEach TEST3 afterEach afterAll

つまり、各テストケースはSCRATCHから完全に実行されます。login、setup DB、テスト用のprepインスタンスを再作成します。テスト;クリーンアップとログアウト。

beforeAllは通常約1分以上かかり、各テストにはほんの数秒しかかかりません。このフローシーケンスでは、テスト実行に多くの時間とコストがかかります。

誰かが同じことを見ているのか、これがXCTestのAmazon Device Farmで期待される動作であるのかどうか疑問に思っていますか？

Answer 1

これはAWS Device Farmで予期される動作です。このサービスは、他のすべてのテストとは別に各テストを実行します。