僕を含めた大部分の人は統計が苦手。だって直感じゃだめだから。そこで、英語で書かれたblogで良い記事を見つけたので、紹介します。Adwordsを題材にしています。
http://blog.asmartbear.com/easy-statistics-for-adwords-ab-testing-and-hamsters.html（ハムスタ－の動画がかわいい）
* Google AnalyticsでＡＢテストやりたい！ という人は、Google Analyticsでのマルチカスタム変数を使ったA/Bテストの例があります。http://www.rowtheboat.com/archives/39 (AB Testing with Google Analytics)。参考として。
基本は、コインの裏表が出た回数が、どれくらい開けば、インチキと言っていいのかの話だと思います。ＡＢに差があると。
数式は、http://blog.asmartbear.com/easy-statistics-for-adwords-ab-testing-and-hamsters.htmlの引用で、
Okay okay, we suck at math. So what’s the answer? Here’s the bit you’ve been waiting for:
The way you determine whether an A/B test shows a statistically significant difference is:
- Define N as “the number of trials.”
For Hammy this is 8+4 = 12.
For the AdWords example this is 32+19 = 51.
- Define D as “half the difference between the ‘winner’ and the ‘loser’.”
For Hammy this is (8-4) ÷ 2 = 2.
For AdWords this is (32-19) ÷ 2 = 6.5.
- The test result is statistically significant if D2 is bigger than N.
For Hammy, D2 is 4, which is not bigger than 12, so it is not significant.
For AdWords, D2 is 42.25, which is not bigger than 51, so it is not significant.
(For the mathematical justification, see the end of the post.)
ＡとＢの回数を足したのがN。AとBの差を引いて半分にしたのがＤ。Ｄを二乗してＤ２。D2がＮより大きくなれば、晴れてイカサマ（信頼度がある）と言っていい。adwordsなら、AとBで勝負が付いた！という話になる。
- 条件はＡとＢのimpression回数が同じ（adwordsのデフォルトは、そうでなかったかも？)
- Ａのクリック回数がＡ，Ｂのクリック回数がＢとして、
- Ｎは、A+B。クリック総数。Dは(A-B)/2
- 上の例だと、３２と１９という数字でも十分ではない。３４対１９までいけば十分イカサマ。
これで、終わり。３４対１９だと、差(D)が15/2=7.5なので、7*7=49, 8*8=64で、N=53を超えそうだなあ、、という感じです。
かけ算の九九で、ＡＢテストの結果を判別する話でした。
ちなみに、この記事(
http://www.fallinstar.org/2010/01/ab.html)での数字は、350/4963, 285/4953 ですね。
少し強引ですが、同じ回数の試行と考えるために、350, 286 とすると、
D=1024 > N=636 となり、
と晴れて有意に差があると言えます。仮に、350, 290でも、D:900 > N:640で、差（カイ二乗値が４超え）はあると言えます。
信頼度がどれくらいかみておきましょう。http://stattrek.com/Tables/ChiSquare.aspx
ここでみると、自由度１のカイ二乗値が6.15の場合は、98-99%の有意水準になります。逆に言うと、１－２％くらいはこういう結果になり得るみたいなので、１００回同じペ－ジでのＡＢテストをやっても、１，２回くらいこういう結果がありそう、とも言えそうです。
とりあえず、テストを打ち切る場合には、信頼度はこれくらいだったとメモを残しておけば良いのだと思います。何かの御札になるかもしれません。
Q&A
でも、その記事が良いのは、その後のバックグランンドの説明と、コメントのやりとりが教育的な事。とても良い記事です。
詳しくは読んで頂くとして、 僕が理解したことは書いていきます。
インプレッション数は関係ないの？
関係ないです。クリックされなかったという事はA/Bの差に関する話には関連しません。今回は、ＡとＢが同じ確率であるはずという前提で、Ａがクリックされた数とＢがクリックされた数を比較してるだけの話です。
カイ二乗値の出し方
我慢して数字を飲み込みましょう。
- 出す数字は、（実際の結果の数字 – そうであるべき数字)を二乗して、回数で割ったものです。
- 今回は、その数字をＡとＢについてやるので、AとＢで出た数字を足し上げて、試行回数で割ります。
- それぞれの試行回数が、N/2になるのは、A/Bテストだからですね。１００回コインを投げたらN/2の５０回になって欲しいですよね。
数式も引用させてもらいましょう、(nと小文字になってますが、見易いので、僕の文では大文字のＮにしてます、総試行回数と結果回数がこっちゃになりますが、気になる人にはごめんなさいです)
分数の計算をして、
- (A*A + B*B – AN – BN + N*N/2)/(N/2) で、
- Dは、(A-B)の差を半分にしたものだったので、2D=(A-B)で、
- N=A+Bなので、N*N=A*A+2AB+B*Bとして、
- ガチャガチャして、
- 4D*D/Nです。 カイ二乗の値が。
それで、自由度１(A/Bの二つを比べるので１）のカイ二乗値の表を引っ張りだす or Excelを使って(冒頭の図は、Google DocsにExcelからコピ－したもの)出します。このカイ二乗値（実際の値とあるべき値の差を取って、二乗して、割った値）は、大きくなればなるほど、あるべき値から離れていて、イカサマ具合が増す数字です。３．８までいくと、95%くらいは、、、、イカサマと言っていいです。A/Bが半々とは、とても信頼できないです。
以下、数字で感覚をつかみます。
カイ二乗値(自由度１)が6.6までいくと、99%あり得ない。
3.8とか6.6とかのカイ二乗値は、上でガチャガシャやって 4D*D/Nでした。Dは、１番最初にやった、とにかく、AとBの差を取って半分にしろ！ と言って便宜的に決めた数字でしたね。D = (A-B)/2
４D*D/Nの計算値が、4くらいまで膨らめば（Ｄが大きくなる = 差が開く)、まあイカサマというか、あるべき数字からは外れてると考えると、４くらいまで来てる、4D*D/Nが、なので、4=4D*D/Nで、D*D = N ですね。
８くらいまで値が外れてる事になれば、4D*D/Nが８なので、 D*D = 2N ですね。（信頼区間の数字は限りなく100%でしょうが）
冒頭にやった 31対１９でいくと、D=(31-19)/2=6, N=50で、 ４でも ３６と５０，８だと 36と100で話にならないですね。
３５対１９でいくと、D=8,N=54で、 ４(カイ二乗の値）だと、64と54で、イカサマラインをやっと超えました。
というわけで、あるべき数字からのズレを計算して、分布表から、これくらいズレてれば、ＯＫという数字をみてみました。4という数字の信頼度はネットの分布表をみたら、96%でした。なので、差を取って、半分にして、二乗した値と、それぞれの回数を足したものを比較して、差を取った方が大きければ、会議で、こっちのがコンバ－ジョンが取れるパタ－ンといえますね。保険として、１００回に４回くらいで、同じクオリティ(コンバ－ジョンが取れる）でも、こういう結果は出ると言っておくべきかもしれません。
信頼度１０％だと、カイ二乗値は2.7なので、概算で、回数の方を７掛けにして、比較しても良いかもしれません。31対19は、ちょうど2.7くらいになるので、９割方は、こっちで良い！と言える話になります。
ビジネスの算段は８割方ＯＫでイケの話だと、カイ二乗値は1.6くらいなので、回数を４掛けでいいです。５０回なら20ですね。30対２０なら、((30-20)/2)^2は、25なので、８割方違うとなります。29対21になると、８割でもそうだと言えないです。
＊あくまでも、二者択一で、お互いの結果の原因に関連が無い場合です。それでも２９対２１だと８割方と言えない、、、という話になります。普通は、お互いの結果の原因は出所が同じで、どの出所の量で結果が決まったりするので、その場合は別に考える事になります。この場合は、ユ－ザの偏りとかでしょうか？
冒頭のGoolge Docsのテ－ブル図は、ここらあたりをまとめたものです。
Ｔ分布の話
CTRの数字をT検定するのではだめなのか？という話ですが、adwords(AB)は二項分布だけど、確率小、回数大だからいけるとありますが、よくわからなくなったので、パス。だれか解説して下さい。
破産、ガケからの転落のメタファ－
上で出した表ですが、有意ゾーンに入った瞬間にテストの打ち切りをすると、結果にバイアスがかかります。
メタファ－としては、崖から落ちる酔っぱらいの話がでてます。僕は、昔、相場の人だったので、破産確率の話と同じだと思いました。人の信頼みたいなのも、こういう感じでしょうか？数式は難しくて、分からないのでパスします。
a smart bearのblogでは、回数（コンバ－ジョンの数）を予め決めておけ！という話になってますが、少なくとも、実際に判断に使う有意水準より、テスト期間中では、その水準を引き上げておくべきなのは確かでしょう。
サンプル数の話
５個以上はいる。統計的にそうらしいです。理由はわかりませんので、分かるように説明してくれる人がいたら嬉しいです。
テストは、現場の判断で切り上げる事は多いでしょうが、どれくらいの信頼度で、そのテストを切り上げたかをメモとして残せば、暗黙知から形式知への転換の可能性も残ると思います。
