google_analytics_abtest_with_custom_reporting

ABテストのようなものを行ったので、メモを残します。

テストのようなと言う理由は、このサイトは、wordpress(CMS)で、アクセス数が少ないという条件なので、

  • サイドバーの特定のリンクが押されたのをコンバージョンとした。
  • CMSのサイドバーなので、どんなページでも、そのリンクが出る。

としたからです。同一条件とは言えないです。ランダムに振り分けた二つの群の数値、という説明が適当です。

ＡＢテストを行う前に

必要性を考えましょう。アドバンスセグメントで十分かも知れません。

また、Google Web Site Optimiserで、ＡＢテストそのものが無料で提供してます。

準備

ただ、必要性の検討も時間がかかるので、とりあえずやってみました。前のエントリーに書きましたが、http://www.rowtheboat.com/archives/39 (AB Testing with Google Analytics)が参考になります。Ａ，Ｂに振り分けて、カスタムレポートで見る方法です。なので、手順は、

  • cookieに該当する値がなければ、PHPで乱数を振る。あれば、そのまま。これで、AかBを決める。（ユーザ固定方式)
  • 設定した値で、sytlesheetを読み込み、Google Analyticsのカスタム変数を設定する。
  • pageTracker._trackPageview()を送る。

ちなみに、AとBの違いは、リンクの色が赤いかどうかです。今作ってる、WikiへのリンクをAの方は赤くしただけです。

WS000029

最後に、一応コードを貼り付けます。(PHPは、hello worldくらいしか書いた事なかったので、変なコードかも)

レポート画面

冒頭の絵が出来上がりの図です。そこまで、至る過程としては、

WS000025WS000026

カスタムレポートのディメンジョンで、カスタム変数のキー > 値とし、

アドバンスセグメントで、ゴールのURLがページとなってるものをセグメントします。

WS000028

カスタム変数のキー１には、他の名前のものが出る人もあると思います。

該当するABTest20100120と選ぶと、冒頭の図になります。

考察

こんな感じでも、それなりに良い感じだと思います。コンバージョンが３つだけですが、レポートで、数字を解釈できると思います。

ただ、A/Bテストは差がでるものでやるべきだと思いました。あと、コンバージョンが上がるゴールにしないと、いつまで経っても有意な数字が得られません。

しかし、今回の複数に振り分けた群での指標を比較は、発見があるかもしれないです。なぜなら、普段のアクセス解析では、こういう行動をしたユーザは何を考えているのだろう？ と分析します。分析した人は、それを踏まえ条件を設定し、群に振り分けるます。こういうのは、実装としては心理的抵抗感が少なく、アクショナブルかなと思います。がちがちのABテストよりも楽？な感じがします。

付け足し

今回、カスタム変数をいじったのですが、ページレベルのカスタム変数を、コンバージョンページに割り当てておくべきだったかもしれません。そうすれば、レポート画面でもう少し簡単に結果が見れたかもしれません。さきほど、設定してみたので、また書きたいと思います。

コード

$GLOBALS["flg"] = mt_rand(1,2);
function init(){
  function f($value,$i){
    $a = split("=", $value);
    if(count($a) > 2){
      if($a[0]=="1" && $a[1]=="ABTest20100120"){
        $GLOBALS["flg"] = $a[2];
        return;
      }
    }
  }

  $s = h($_COOKIE['__utmv']);
  if($s){
    $ret = split("\|",$s);
  }else{
    return;
  }
  if($ret && $ret[1]){
    $ret = split(",", $ret[1]);
  }else{
    return;
  }
  if(!$ret){$ret = array('');}
//echo $GLOBALS["flg"];
  array_walk($ret, 'f');
}
init();

この後に、$GLOBALSに合わせて、stylesheet読み込み、カスタム変数の設定などを行いました。

初心者丸出しかも知れませんが、指摘してもらえると有り難いです。