「新しいボタンの文言のほうがCVRが高い。でも、この差は本物なのか」。A/Bテストの結果を判断するときに、必ず出てくる問いです。
A/Bテストの結果は、たまたま生じた差と、本当の差を見分けて判断する必要があります。数日分の結果を見て「Bのほうが良い」と決めると、偶然の差に振り回されることがあります。
本記事では、A/Bテストの結果の見方を、有意差・信頼区間・サンプルサイズの考え方を中心に解説します。
そのうえで、料金ページのボタンの文言を比べたデモ用のデータで結果を判断した例と、テストの途中で結果を見て止めてはいけない理由、Claudeで集計する方法を紹介します。
A/Bテストとは
A/Bテストは、ページや広告などの2つの案（AとB）を、訪問者をランダムに分けて同時に見せ、成果を比べる方法です。
同じ期間に、ランダムに分けた訪問者で比べるため、季節や広告の配信などのほかの要因の影響を受けにくく、変更の効果を直接確かめられます。
結果を判断するときに見る指標
CVRの差と改善率
まず、AとBのCVR（コンバージョン率）と、その差を見ます。
差 ＝ BのCVR − AのCVR
改善率 ＝ BのCVR ÷ AのCVR − 1
p値（有意差）
p値は、「本当はAとBに差がないのに、今回と同じかそれ以上の差がたまたま出る確率」です。p値が小さいほど、偶然では説明しにくい差だと言えます。
一般的には、p値が5%（0.05）未満のとき「統計的に有意な差がある」と判断します。CVRのような割合の差は、2つの割合の差の検定（z検定やカイ二乗検定）で調べます。
差の信頼区間
p値だけでは、差がどれくらいの大きさかはわかりません。差の95%信頼区間は、本当の差がおおよそどの範囲にあるかを表します。
信頼区間が0をまたいでいなければ、差は有意です。また、区間の下限を見れば、「少なくともこれくらいは改善する」という見積もりができます。
必要なサンプルサイズ
テストを始める前に、どれくらいの差を見分けたいか（最小検出効果）を決め、必要な人数（サンプルサイズ）を計算します。
1群あたりのサンプルサイズ ≒（1.96 ＋ 0.84）² ×（p₁(1−p₁) ＋ p₂(1−p₂)）÷（p₂ − p₁）²
p₁はAのCVR、p₂は見分けたいBのCVRです。1.96は有意水準5%（両側）、0.84は検出力80%（本当に差があるときに80%の確率で見つけられる）に対応する値です。
見分けたい差が小さいほど、元のCVRが低いほど、必要なサンプルサイズは大きくなります。
デモ用のデータで結果を判断する
ここからは、架空の動画学習のサブスクリプションサービス「Lumina」のデモ用のデータで、A/Bテストの結果を判断した例を紹介します。
料金ページの「無料で始める」ボタンの文言を変えるテストを、2026年3月2日〜4月19日の7週間行ったことにしています。料金ページを見たセッションを、元の文言（A）と新しい文言（B）に半分ずつ分け、無料トライアルの開始率を比べました。
テストの前に、AのCVR（約28%）から相対10%の改善を見分けるために必要なサンプルサイズを計算すると、1群あたり約4,000セッションでした。これをもとに、テストの期間を7週間と決めています。
結果
Claudeで作成した、A/Bテストの結果（デモ用のデータ）
BのCVRは31.5%で、Aの28.5%より3.1ポイント（相対10.8%）高くなりました。p値は0.001で5%を下回り、差の95%信頼区間も+1.2〜+4.9ポイントと、0をまたいでいません。
各群のセッションは約4,600で、事前に計算した必要なサンプルサイズ（4,054）にも届いています。Bの文言のほうがトライアルの開始率が高い、と判断できます。
信頼区間の下限は+1.2ポイントです。Bに切り替えた場合の改善は、控えめに見ても1ポイント程度と見積もれます。
途中で結果を見て止めてはいけない
同じテストについて、テストを始めた日からその日までのデータで、毎日、改善率とp値を計算し直しました。
Claudeで作成した、テスト期間中の改善率とp値の推移（デモ用のデータ）
テストを始めてすぐは、改善率が大きく上下し、p値も安定しません。3週目までの時点ではp値が0.008と5%を下回りましたが、4週目までの時点では0.074に戻っています。
もし毎日結果を見て、p値が5%を下回った時点でテストを止めていたら、3週目で「有意差あり」と判断していたことになります。今回は最終的にも差が出ましたが、本当は差がないテストでも、何度も結果を見て都合のよい時点で止めると、偶然の差を「効果あり」と判断してしまう確率が高くなります。
テストの期間とサンプルサイズは始める前に決め、決めた時点の結果で判断します。
ClaudeでA/Bテストの結果を集計する方法
必要なデータ
- テストの割り当て：セッションやユーザーが、AとBのどちらに割り当てられたか。テストツールのデータや、GA4のイベントのパラメータで記録します
- 成果のデータ：コンバージョンの有無
GA4のデータをBigQueryに書き出してClaudeから集計する手順は、「ClaudeでGA4を分析する方法（別タブで開く）」で解説しています。
前提として渡すこと
前提の例
・テストの対象は、料金ページを見たセッション。期間は3月2日〜4月19日
・割り当ては、GA4 のイベント view_pricing のパラメータ ab_variant（A または B）
・CVRは、トライアルを開始したセッション ÷ 対象のセッション
・検定は、2つの割合の差の z 検定（両側、有意水準5%）。差の95%信頼区間も出す
指示の例
プロンプト例
AとBのセッション、トライアルの開始数、CVR、差、改善率、差の95%信頼区間、p値を表にしてください。結果から、Bに切り替えてよいかの判断と、その理由を書いてください。
プロンプト例
AのCVRが28%のとき、相対10%の改善を有意水準5%・検出力80%で見分けるのに必要な、1群あたりのサンプルサイズを計算してください。1日あたりのセッション数から、必要なテストの期間も見積もってください。
プロンプト例
テストの結果を、端末別（スマートフォン・PC）にも分けて表にしてください。ただし、分けた結果は参考として扱い、全体の判断は事前に決めた指標で行ってください。
結果を確かめる
- AとBの数が偏っていないか：半分ずつ割り当てたのに、セッションの数が大きく違う場合は、割り当てや計測に問題がある可能性があります
- 計算の方法を確かめる：Claudeが使った検定の方法と、計算に使った数を説明させ、元のデータと一致するかを確かめます
A/Bテストをするときの注意点
1回のテストで変えるのは1か所
ボタンの文言と色と配置を同時に変えると、どの変更が効いたのかわかりません。1回のテストで変えるのは、原則1か所にします。
曜日の影響をならすため、週単位で期間をとる
平日と週末で、訪問者の行動が違うことがあります。テストの期間は、少なくとも1週間単位でとります。
あとから切り口を増やしすぎない
結果が出たあとに、端末別・流入元別・新規と再訪問別…と細かく分けていくと、どこかでたまたま有意な差が見つかります。分けて見るのは参考にとどめ、判断は事前に決めた指標で行います。
改善の効果が続くかを確かめる
新しいデザインは、珍しさで一時的に反応がよくなることがあります。Bに切り替えたあとも、CVRの推移を確かめます。LPのCVRの変化の調べ方は、「CVR改善のためのLP分析のやり方（別タブで開く）」で解説しています。
まとめ
A/Bテストの結果は、CVRの差だけでなく、p値・差の信頼区間・サンプルサイズを合わせて判断します。
- 始める前に：見分けたい差を決め、必要なサンプルサイズとテストの期間を計算する
- 判断するときに：p値が5%未満で、差の信頼区間が0をまたいでいないかを見る。信頼区間の下限で、控えめな効果を見積もる
- 注意点：途中で結果を見て止めない。あとから切り口を増やしすぎない
テストの割り当てと成果のデータがそろっていれば、検定やサンプルサイズの計算はClaudeに任せられます。テストを始める前の設計から、Claudeと一緒に進めるのがおすすめです。
