パターンA・Bの表示回数とコンバージョン数を入力するだけで、z検定によるp値・信頼区間・ 有意差の有無を自動判定。テスト開始前の必要サンプルサイズ計算にも対応しています。
パターンA（対照群）
パターンB（テスト群）
検定方法
信頼水準
判定結果（信頼水準95% ／ 両側検定）
有意差なし
現時点のデータでは統計的な差があるとは言えません。
コンバージョン率の比較
z値
1.708
p値
0.0876
差の95%信頼区間
-0.26% 〜 3.86%
区間が0をまたぐ場合、有意差なしと整合します。
ADVICE
サンプルサイズ（表示回数）が不足している可能性があります。「必要サンプルサイズ計算」タブで目安を確認し、テストを継続することをおすすめします。
A/Bテストの有意差計算ツールとは？p値・信頼区間・必要サンプルサイズまで対応
A/Bテストの有意差計算ツールは、パターンA（対照群）とパターンB（テスト群）の表示回数（アクセス数）とコンバージョン数を入力するだけで、2つの比率の差を検定するz検定（two-proportion z-test）に基づき、統計的有意差の有無を自動判定する無料ツールです。
コンバージョン率の差だけでなく、p値・z値・信頼区間・相対上昇率まで一度に算出できるため、「その差は本当に施策の効果なのか、偶然のばらつきなのか」を客観的な数値で確認できます。
さらに、テストを開始する前に必要なサンプルサイズ（表示回数）を試算できる機能も搭載しており、「どれくらいの期間・アクセス数があれば正しく判定できるか」を事前に見積もることも可能です。
こんなシーンで便利です
LP・広告クリエイティブのA/Bテスト結果を判定する時に
2つのLPパターンや広告クリエイティブのコンバージョン数を入力し、その差が統計的に有意かどうかをすぐに確認したい場合に使えます。
テストを開始する前に必要な期間・アクセス数を見積もる時に
現在のコンバージョン率と検出したい効果量を入力し、テストに必要な1群あたりのサンプルサイズを事前に算出したい場合に活用できます。
社内・クライアントへのテスト結果報告資料を作成する時に
p値や信頼区間、有意差の有無を数値で示すことで、感覚的な判断ではなく統計的根拠に基づいたテスト結果の報告資料を作成できます。
テスト結果を早期に判定してよいか迷った時に
現在のサンプルサイズで統計的に十分な判定が可能かどうかを確認し、判定を急ぐべきでない場合の目安を把握する用途にも使えます。
使い方は簡単 4ステップ
- 「有意差判定」タブで、パターンA・パターンBそれぞれの表示回数とコンバージョン数を入力します。
- 検定方法（片側検定／両側検定）と信頼水準（90%／95%／99%）を選択します。
- コンバージョン率の差、p値、信頼区間、有意差の有無が自動的に表示されます。
- テスト開始前に必要なサンプルサイズを知りたい場合は、「必要サンプルサイズ計算」タブに切り替えて条件を入力します。
※すべての計算はブラウザ内のJavaScriptで即時に実行され、入力した数値が外部に送信されることはありません。
ご利用時の注意点
- 本ツールは2群の比率を比較するz検定（two-proportion z-test）に基づいています。連続値の平均を比較するt検定など、他の検定手法とは前提が異なります。
- サンプルサイズが極端に小さい場合、正規近似の精度が低下し、判定結果の信頼性が下がることがあります。可能であれば十分なサンプルサイズを確保してから判定してください。
- 統計的有意差は「差が偶然ではなさそうだ」ということを示すものであり、その差が事業上重要な大きさかどうかは別途、実務的な観点から判断する必要があります。
- 完全無料・安全：入力したコンバージョンデータは外部に送信されない、通信が発生しないブラウザ完結型の設計です。
信頼水準・検定方法別のZ値（臨界値）早見表
本ツールが有意差の判定に使用しているZ値（臨界値）の一覧です。p値がこの水準に対応する確率を下回った場合に「有意差あり」と判定されます。
| 信頼水準 | 片側検定のZ値 | 両側検定のZ値 |
|---|---|---|
| 90% | 1.282 | 1.645 |
| 95% | 1.645 | 1.960 |
| 99% | 2.326 | 2.576 |
※一般的なWeb施策のA/Bテストでは、信頼水準95%・両側検定が最もよく使われる基準です。判断の重要度が高い場合は、より厳しい99%を用いることもあります。
A/Bテストの有意差判定で押さえておきたい統計的な考え方
p値の正しい読み方や、判定を誤らないために知っておきたいポイントを解説します。
結論：有意差とは「偶然とは考えにくい差」であって「絶対に正しい差」ではない
統計的有意差は、「AとBに本当は差がないとしたら、これほどの差が偶然生じる確率は低い」ということを示す指標です。
信頼水準95%で有意という結果は、裏を返せば約20回に1回は偶然そのような差が生じうることも意味します。有意差という言葉を「絶対に正しい結論」と捉えすぎないことが、A/Bテストを正しく活用する第一歩です。
p値の正しい読み方とよくある誤解
p値は「差の大きさ」を表す指標ではなく、「その差が偶然生じる確率」を表します。p値が非常に小さいからといって、その施策が事業に与えるインパクトが大きいとは限りません。
判断の際は、p値による統計的有意性と合わせて、コンバージョン率の相対上昇率など効果の実務的な大きさも必ず確認しましょう。
サンプルサイズが不足した状態での早期判定が危険な理由
表示回数が少ない段階では、コンバージョン率のわずかな変動でもp値が大きく揺れ動きます。
そのため、「テスト開始直後にたまたまp値が小さくなった」タイミングで判定を打ち切ってしまうと、誤った結論に至るリスクが高くなります。事前に必要サンプルサイズを試算し、そのサンプルサイズに達するまではテストを継続することが推奨されます。
有意差が確認できた後にすべきこと
有意差が確認できた場合も、すぐに全面採用する前に再現性の確認（期間や対象を変えた再テスト）を行うと、より確実な意思決定につながります。
また、コンバージョン率だけでなく、売上や離脱率など関連する他の指標への影響も合わせて確認し、総合的に採用可否を判断することが望ましいです。
よくある失敗と対策
サンプルサイズが少ない段階で早期に有意差ありと判定してしまう
テスト開始直後、まだ十分な表示回数が集まっていない段階でp値が偶然小さくなり、そのタイミングで「有意差あり」と判定して施策を打ち切ってしまう失敗です。
💡 対策・解決策を見る▼
p値の小ささだけを見て、効果の大きさを確認しない
p値が非常に小さいという理由だけで「大きな効果があった」と判断してしまい、実際のコンバージョン率の上昇幅（相対上昇率）を確認しないまま意思決定してしまう失敗です。
💡 対策・解決策を見る▼
検定方法（片側・両側）をテストの目的に合わせず選んでしまう
Bが悪化する可能性も本来考慮すべきテストで片側検定を使ってしまい、有意差が出やすい方向に判定基準を寄せてしまう失敗です。
💡 対策・解決策を見る▼
複数の指標を検定し続け、偶然有意だった指標だけを採用してしまう
コンバージョン率、クリック率、離脱率など複数の指標を同時に検定し、その中でたまたま有意差が出た指標だけを取り上げて成功と主張してしまう失敗（多重比較の問題）です。
💡 対策・解決策を見る▼
根拠なく信頼水準を変更し、都合の良い結果を採用してしまう
95%では有意差が出なかったため、後から90%に基準を緩めて「有意差あり」という結果に変えてしまうなど、判定基準を後付けで調整してしまう失敗です。
💡 対策・解決策を見る▼
よくある質問（FAQ）
Q.A/Bテストにおける「有意差」とはどういう意味ですか
A. 有意差とは、パターンAとパターンBのコンバージョン率の差が、偶然のばらつきでは説明しにくいほど大きいと統計的に判断できる状態を指します。本ツールでは、指定した信頼水準（90%・95%・99%）を基準に、p値がその水準を下回った場合に「有意差あり」と判定します。
Q.p値とは何ですか、どのように解釈すればよいですか
A. p値は「AとBの間に本当は差がないと仮定した場合に、観測されたデータ以上の差が偶然生じる確率」を表します。p値が小さいほど、観測された差が偶然では説明しにくいことを意味します。一般的にはp値が0.05（信頼水準95%の場合）を下回ると「統計的に有意」と判断されますが、p値の小ささは効果の大きさを直接示すものではない点に注意が必要です。
Q.片側検定と両側検定はどちらを選べばよいですか
A. 「Bが必ずAより良くなる、または変わらない」という前提で、Bの改善のみを検証したい場合は片側検定を使います。一方、「BがAより良くなるか悪くなるか、両方の可能性を考慮したい」という一般的なA/Bテストでは、両側検定を使うのが基本です。判断に迷う場合は、より保守的な両側検定を選ぶことをおすすめします。
Q.有意差が出れば、必ずパターンBを採用すべきですか
A. 統計的有意差は「差が偶然ではなさそうだ」ということを示すものであり、その差が事業上重要な大きさかどうかは別に判断する必要があります。また、サンプルサイズが少ない状態での早期判定は誤った結論につながりやすいため、事前に設計した必要サンプルサイズに達してから判定することが推奨されます。
Q.どれくらいのサンプルサイズ（表示回数）が必要ですか
A. 必要なサンプルサイズは、現在のコンバージョン率、検出したい最小の効果量（MDE）、検出力、信頼水準によって変わります。本ツールの「必要サンプルサイズ計算」タブでこれらの条件を入力すると、テスト開始前に1群あたり必要な表示回数の目安を算出できます。
Q.入力したコンバージョン数やアクセス数のデータは外部に送信されますか
A. 送信されません。本ツールはすべての統計計算をブラウザ内のJavaScriptだけで実行する完全ローカル処理型です。入力した数値が外部サーバーに送信されたり保存されたりすることはありません。
あなたの声で、
このツールをより鋭く。
「こんな機能が欲しい」「ここを直してほしい」といったご意見や、新しいツールのリクエストを募集しています。エンジニアが直接目を通し、開発の参考にさせていただきます。