ABテストのようなものを行ったので、メモを残します。
テストのようなと言う理由は、このサイトは、wordpress(CMS)で、アクセス数が少ないという条件なので、
- サイドバーの特定のリンクが押されたのをコンバージョンとした。
- CMSのサイドバーなので、どんなページでも、そのリンクが出る。
としたからです。同一条件とは言えないです。ランダムに振り分けた二つの群の数値、という説明が適当です。
ＡＢテストを行う前に
必要性を考えましょう。アドバンスセグメントで十分かも知れません。
また、Google Web Site Optimiserで、ＡＢテストそのものが無料で提供してます。
準備
ただ、必要性の検討も時間がかかるので、とりあえずやってみました。前のエントリーに書きましたが、http://www.rowtheboat.com/archives/39 (AB Testing with Google Analytics)が参考になります。Ａ，Ｂに振り分けて、カスタムレポートで見る方法です。なので、手順は、
- cookieに該当する値がなければ、PHPで乱数を振る。あれば、そのまま。これで、AかBを決める。（ユーザ固定方式)
- 設定した値で、sytlesheetを読み込み、Google Analyticsのカスタム変数を設定する。
- pageTracker._trackPageview()を送る。
ちなみに、AとBの違いは、リンクの色が赤いかどうかです。今作ってる、WikiへのリンクをAの方は赤くしただけです。
最後に、一応コードを貼り付けます。(PHPは、hello worldくらいしか書いた事なかったので、変なコードかも)
レポート画面
冒頭の絵が出来上がりの図です。そこまで、至る過程としては、
カスタムレポートのディメンジョンで、カスタム変数のキー > 値とし、
アドバンスセグメントで、ゴールのURLがページとなってるものをセグメントします。
カスタム変数のキー１には、他の名前のものが出る人もあると思います。
該当するABTest20100120と選ぶと、冒頭の図になります。
考察
こんな感じでも、それなりに良い感じだと思います。コンバージョンが３つだけですが、レポートで、数字を解釈できると思います。
ただ、A/Bテストは差がでるものでやるべきだと思いました。あと、コンバージョンが上がるゴールにしないと、いつまで経っても有意な数字が得られません。
しかし、今回の複数に振り分けた群での指標を比較は、発見があるかもしれないです。なぜなら、普段のアクセス解析では、こういう行動をしたユーザは何を考えているのだろう？ と分析します。分析した人は、それを踏まえ条件を設定し、群に振り分けるます。こういうのは、実装としては心理的抵抗感が少なく、アクショナブルかなと思います。がちがちのABテストよりも楽？な感じがします。
付け足し
今回、カスタム変数をいじったのですが、ページレベルのカスタム変数を、コンバージョンページに割り当てておくべきだったかもしれません。そうすれば、レポート画面でもう少し簡単に結果が見れたかもしれません。さきほど、設定してみたので、また書きたいと思います。
コード
$GLOBALS["flg"] = mt_rand(1,2);
function init(){
function f($value,$i){
$a = split("=", $value);
if(count($a) > 2){
if($a[0]=="1" && $a[1]=="ABTest20100120"){
$GLOBALS["flg"] = $a[2];
return;
}
}
}
$s = h($_COOKIE['__utmv']);
if($s){
$ret = split("\|",$s);
}else{
return;
}
if($ret && $ret[1]){
$ret = split(",", $ret[1]);
}else{
return;
}
if(!$ret){$ret = array('');}
//echo $GLOBALS["flg"];
array_walk($ret, 'f');
}
init();
この後に、$GLOBALSに合わせて、stylesheet読み込み、カスタム変数の設定などを行いました。
初心者丸出しかも知れませんが、指摘してもらえると有り難いです。