アプローチ設計約 3 分 1,061 字

A/Bテスト設計の基本

施策効果を統計的に検証するA/Bテスト。ランダム割付・サンプルサイズ・交絡回避を学びます。

施策の効果検証の王道、A/Bテスト。設計を間違えると結論が信頼できなくなります。

白峰リリ

新しいバナーデザインの効果を測りたいんだけど、どう設計すればいい?

神楽モニカ先生

それはA/Bテストの出番。
ユーザーをランダムに2群(A群: 既存・B群: 新規)に分けて、結果の差を統計的に比較するの。

紅林かえで

重要なのは(1)ランダム割付、(2)十分なサンプルサイズ、(3)同時期に行う、の3点。
これが守られないと結論が歪むわ。

藍沢しずく

ランダムに分けないとどうなるんですかぁ?

紅林かえで

例えば男性にだけ新しいバナーを見せていたら、効果差が『バナー』ではなく『男女差』を測ってしまうわ。
これを交絡と呼ぶの。

白峰リリ

なるほど、変数が混ざっちゃうんだね。

神楽モニカ先生

そしてサンプルサイズ。
少なすぎると差が偶然なのか本物なのか判別できないし、多すぎると微小な差まで有意になってしまう。
検出力と有意水準から計算するのが定石よ。

藍沢しずく

わぁ、A/Bテストって統計検定とつながってるんですねぇ♪

紅林かえで

そう。
さらに『同時期に』も大事。
A群を1月、B群を2月に分けると、季節要因や曜日要因が入って交絡するの。

白峰リリ

じゃあ朝にA、夜にBもダメだね。
同じ時刻・同じ条件で、ってことか。

神楽モニカ先生

その通り。
最後に、A/Bテストの目的指標(KPI)を事前に決めることも重要。
後から指標を選ぶとp値ハッキングの温床になるわ。

紅林かえで

DS検定では、A/Bテストの設計上の問題点を指摘する設問が出るので、(1)ランダム割付・(2)サンプルサイズ・(3)同時期・(4)指標事前決定の4点をチェックリストにしておくのがおすすめよ。

藍沢しずく

覚えますぅ♪

確認クイズ

A/Bテストで最も避けるべき設計はどれか。

こたえを見る

正解: 2. A群は1月にテスト、B群は2月にテストする

A群は1月にテスト、B群は2月にテストするのは時期による交絡が発生し、効果差を正しく測れません。A/Bテストでは同時期にランダム割付するのが鉄則です。

Amazonアソシエイトリンクを含みます。他分野はおすすめ書籍ページへ。