2つ以上の分割による分割テストの有意性テスト

Question

2回以上の実験でパーセンテージメトリックに有意性テストを使用する必要がありますか？

は例えば、

Version | Clicks | Impressions 
A  | 5  | 1,763 
B  | 4  | 1,672 
C  | 2  | 1,689 

はどのようにしてください私たちは本当に他の二つに比べて優れているverisonことありますか？

Answer 1

私は個人的にはトップとボトムの間にペアワイズGテストを行い、ファッジファクタnで信頼度を乗算します.nは2つあります。最も極端だった。理論的にはこれは過度に保守的ですが、それは私のために働いていました。

詳細はhttp://elem.com/~btilly/effective-ab-testing/を参照してください。