私のシナリオ用のテスト自動化フレームワークを提案する

Question

私はいくつかのテスト自動化フレームワークを評価する過程にあり、何らかの入力を感謝しています。私たちは大規模な信用処理ビジネスアプリを持っており、それは3つのエンドポイントを持っています：ウェブUI、石鹸と基本的なhttp/post。私の要件は以下の通りです。

私たちのQAは、データ駆動型テストに非常によく似ています（すべての入力データがExcelから来ており、アサーションで期待される結果です）。基本的に、Excelシートの各行には、入力データと対応する期待結果が含まれています。 QAがExcelシートを編集するだけです。私たちの開発チームは、必要なテストライブラリ/フィクスチャを提供する責任があります。上記のシナリオでは、これらの優れたシートを読んで、アプリケーションのすべてのエンドポイント、つまりWeb UI、SOAP、HTTP/POSTをテストできる単一の自動化フレームワークを使用したいと考えています。私のニーズに合ったテスト自動化フレームワークを教えてください。いくつかのポインタとチュートリアルを感謝して私を始めてください。

Answer 1

私が提案フレームワークの数を経ていますが、私が作った最終的な選択は

1. Spock
2. Geb
3. のGroovyの上に自分のドメインライブラリー（DSLあなたがするかどうかを）書くことでしたそして
4. HTTP Builder
5. ソナーとハドソン

私たちは現在、CIの一部として毎晩14000+（および成長する）回帰テストを実行しています。

Answer 2

Fit/Fitnessをお勧めします。ビジネスアナリストが独自のテストを実行できるようにするのは良い方法です。

Answer 3

スプレッドシートに保存されているデータを使用してすべてのエンドポイントをテストできるツールはわかりません。既存のテストランナーに構築されたカスタムテストランナーを作成して、スプレッドシートからデータを読み取れるようにする必要があります。

しかし、テストしようとしているエンドポイントに適したツールを選ぶことに集中します。 Web UIについては、seleniumまたはHtmlUnitをお勧めします。スプレッドシートからこれらのテストにデータを取得するための代替方法を検討する必要があります。しかし、これらはあなたにできるだけ近いユーザーとしてあなたにUIを行使します。

soapエンドポイントをテストするには、JUnitを使用してユニットテストを作成し、バックエンドを模擬することをお勧めします。ユニットテストでバックエンドを個別にテストして、正しく動作していることを確認することができます。アプリケーションのアーキテクチャによっては、これは選択肢ではないかもしれません。これらを統合テストとして設定し、JUnitを介して実行し、返されたメッセージをアサートすることができます。再度、スプレッドシートからデータと期待値を得たライブラリを作成する必要があります。

ご希望の場合はこちらをご覧ください。

Answer 4

soapUI（http://www.soapui.org/）またはJMeterアプリケーション（http://jmeter.apache.org/）をお勧めします。

SoapUIでは、私の（soap-）Webサービスの機能テストを行いました。これらのテストを自動化することができます。

Apache JMeterでは、Web UIで自動パフォーマンステストを行っています。テストデータはまた、Excelシートに基づいていました。あなたはThoughtWorksのからTwistを見てみたいことがあり

敬具、パトリック

Answer 5

。それは機能テストIDEです。 QA/BAは自然言語を使用してテストケースを定義できます。ツイストは、SeleniumとJUnitをフードの下で使用するため、生成されたテストケースをバージョン管理することができます。

私は@stuartfに同意します。これは、データを読み込み、それに対して主張するすぐれたソリューションを見つけることができないことに同意します。 POIまたは他のExcelリーダーを使用して、テストフレームワークにデータをロードすることができます。

Answer 6

Robotframeworkを使用すると、外部ファイルからのテストデータを使用できます。私はExcelシートで試してみませんでしたが、私はJSVだけでなくCSV形式のデータでもやっています。最悪の場合、ExcelのデータをPythonに適した形式にエクスポートしなければならないかもしれませんが、スプレッドシートを管理している人には透過的に行うことができます。

要するに、スプレッドシートを読み込んでテストケースでデータに変換するキーワードをPython（またはjythonを使用する場合はJVMベースの言語）で作成できます。

ただし、すべてのテストがこのデータファイルから行われる場合は、フレームワークは必要ありません。それぞれの行を繰り返し実行する言語で短いスクリプトを書くだけで、curlやwgetに相当する関数を呼び出します。フレームワークは、テストシナリオを表現する方法が必要だが、すでにそれを持っている場合に便利です。

しかし、「スプレッドシートの各行を使って検証する」というテストが1つしかない場合でも、ロボットを使用する利点は、ロボットが持っている素晴らしいレポートを得ることです。 jenkins/hudsonと簡単に統合することができます。