結果の質が大きく主観的なテストを自動化する方法

Question

私は、APIのライセンス費用が良い投資収益率を生むかどうかを確認するために、一連のラピッドプロトタイプを通じて自動化と統計生成プログラムを進化させてきました。限られた時間枠と私自身の限られた経験により、自動化された品質や正確性のテストや測定基準のない便利なツールが生まれました。

このプログラムでは、PDFドキュメントのローカリゼーションプロセスを扱います。具体的には、ファイルの内容の一部（約単語数、画像数など）に関するレポートを生成し、いくつかのコンテンツ抽出および処理機能を有する。これは主に、PDFローカリゼーションプロジェクトのコストを評価する時間とコストを削減するために使用されます。

このアプリケーションは、バグ追跡システムと予備テスト、リリース、およびフィードバックサイクルのリクエストを含む、より正式な開発プロセスで承認されました。

QAとテストについて、ヒューリスティックに基づいた数字が最もよく推測され、処理された出力は、その恐ろしい構造のために常に役に立つとは限りません。ソースドキュメント？数値が明らかに狂ったときに警告を追加する予定ですが、品質を保証するために何ができるのでしょうか？

私が持っている最も洗練された解決策は、ビルド環境でアサーションテストを行い、従来のユーザーテストケースを書いているヘルパーメソッドの結果を保証することです。

どのように主観品質測定をテストしますか？

私はC＃で作業していますが、フレームワーク固有のものについても、一般的なベストプラクティスの回答に賛成です。

Answer 1

アプリケーションが行っていることを正確にはわかっていませんが、一般的な質問に答えてください： 入力範囲を表すテストケースの集合を作成し、正しく判断できるかどうかを確認してください。実際の入力文書をテストすることは実際にはできません。

そして、自動テストでは達成できることには限界があるということを受け入れる必要があります。物事が本当に主観的な美学や使いやすさになるときなど）は、実際の人が必要なのです。

私はより有益な回答を与えたいと思います。

Answer 2

お試しApproval Tests