勝者を選ぶか、最適化を止めないか：A/Bテストの2つの判定方法

どのA/Bテストツールも、同じ問いを投げかけます。どのバージョンが勝ったのか？しかし、その問いには2つの異なる意味があり、それぞれに別の種類のテストが必要です。答えが必要なときがあります——リニューアル版が旧ページに勝つか勝たないか、どちらかを公開して次に進む場合です。管理役が必要なときもあります——ヒーローバナーは1年中表示され、1月のベストが7月のベストとは限らず、四半期ごとに誰かがテストし直してくれるわけでもない場合です。 Personyzeは同じキャンペーンで両方の種類を実行でき、どちらを使うかを選ぶ設定の名前はこのテストの判定方法です。この記事では、それぞれのモードが実際に何をするのか、どんなコストがかかるのか、そしてどう選ぶべきかを説明します。

同じテストを2つの方法で判定した例。左は、あるバージョンが実力を証明するまで配分を固定し、その後は勝者がテスト対象のトラフィックを引き継ぎます。右は、配分が毎晩少しずつ動き、止まることはありません。

2つの問いと、2種類のテスト

従来のA/Bテストは実験です。配分を固定して待ち、信頼度付きの結論を得たら、テストは終わりです。この公平さこそが要点です。配分が一度も動いていないので比較はクリーンで、なぜその判断をしたのかを誰にでも示せます。代償は、負けたバージョンにも最後まで割り当て分のトラフィックがすべて流れ続けること、そして結論が有効なのはテストを実施した期間についてだけだということです。

もう1つの種類のテストは、統計学でバンディットと呼ばれるものです。判断を待つのではなく、判断し直し続けます。毎晩、直近に起きたことを見て、今いちばん成果を上げているバージョンに少しだけ多くトラフィックを回しつつ、学習を続けるために常に一部を残しておきます。結論を出す必要がないので、結論を出すことはありません。代償は、配分が常に数日遅れで現実を追いかけること、そして比較が結果として発表できるほどクリーンではないことです。そもそも結果を出すことが目的でないなら、それで問題ありません。

有意差で勝者を選ぶ：実験

このモードでは、各バージョンがゴールをめぐって競う間、トラフィックは設定したとおりのまま保たれ、いずれかが実力を証明した時点でテストが終了します。「実力を証明する」とは4つのしきい値を満たすことを意味し、Personyzeはそれを多くのツールより厳しめに設定しています。

• 1つ以上のゴール。最初に選んだゴールがメインになり、準備状況と勝者の判定はそれに基づきます。クリックを最適化するテストと売上を最適化するテストは必ずしも一致しないので、どちらのつもりなのかを指定します。
• 信頼度、セッション数、実施期間。3つのプリセットで、この3つを一度に設定できます：慎重は信頼度99%、5,000セッション、21日間。バランスは95%、1,000セッション、14日間。高速は90%、500セッション、7日間です。独自の値を入力することもできます。最低実施期間があるので、たまたま好調な火曜日が火曜日のうちに勝つことはありません。
• 最小改善幅。慎重は少なくとも1%、バランスは0.5%のリフトを求めます。統計的には本物でもビジネス上は意味のない差でリードしているバージョンは、採用されません。
• 必要ならコントロールグループも。変更なしのサイトにも独自の配分を与えましょう——2つのバージョンにそれぞれ45%、10%を確保——そうすれば報告するリフトは、推測との比較ではなく、あなたが実際に生み出したリフトになります。

基準を満たすと勝者が採用されます。テスト対象のトラフィック全体か、指定した割合か、あるいはメールで通知を受けて自分で判断したい場合は何もしないか、を選べます。確保したコントロールグループはそのまま残るので、判定後もキャンペーンを測定し続けられます。そしてテストは終わり、それこそが望んでいたことです。

AI:継続的に最適化：管理役

このモードでは、何も終了しません。毎晩の処理で、直近の結果に基づいて各バージョンを評価し、今成果を上げているバージョンに向けて配分を調整し直します。放置しても安全なのは、次の3つの性質があるからです。

• 直近のトラフィックを最も重視。表示とクリックは半減期28日で重みが下がり、84日より古いデータは除外されます。2か月前にベストだったバージョンが今日負けることもあり、それこそが狙いです。季節が変わったことに気づけるのです。
• 統計的な確信があるときだけ動く。各バージョンには最良である確率が付与されます。データを数千回シミュレーションで再実行して算出したものです。数値がほぼ互角なら、データはまだバージョンを見分けられないということで、配分は動きません。重み付け後の表示が数百に満たない場合は、そもそも何も計算しません。わずかなセッションで動くバンディットは、真顔の乱数生成器にすぎないからです。
• 常に10%で探索。何があっても、毎晩トラフィックの10分の1を各バージョンに均等に配分します。負けているバージョンも挽回のためのデータを得続け、どのバージョンもゼロにまで追い込まれず、データの欠損で1つのバージョンが100%に固定されることもありません。

毎晩の処理の流れ。配信に影響するのは最後のステップだけで、推奨配分が現在の配分と3ポイント以上違う場合にのみ書き込みます。

さらに2つのルールは、あなたの設定を尊重するためのものです。0%にしたバージョンはデータではなくあなたの判断なので、0%のままです。手動で配分を与えれば、再び対象になります。また、オプティマイザーが配分し直すのは、すでに配分に割り当てられているトラフィックだけです——変更なしのサイトに10%を確保しているキャンペーンは、引き続き確保し続けます。

正直に言うと、限界が1つあります。継続モードが評価するのはインタラクションです——確定済みの表示に対するクリック以上の行動で、コンバージョンにつながったクリックも含みます——常時表示されるコンテンツが毎日大量に生み出すのは、このシグナルだからです。チェックアウトの変更によるセッションあたり売上が気になるなら、それはそのゴールに向けた実験で問うべきことです。

どちらを選ぶべきか？

実際に役立ってきた目安は：次の四半期もまだテストしていたら恥ずかしいと思うなら、勝者を選びましょう。止めてしまったら恥ずかしいと思うなら、継続的に最適化しましょう。料金ページは前者に属します。トップページのヒーローは後者です。そして考えを変えることもできます。モードはキャンペーンの設定で、保存したときに適用されるので、同じキャンペーンを最初は実験として実施し、定番の要素になったらオプティマイザーに引き渡すこともできます。

知っておく価値のある中間案もあります。実験モードには、テスト中に、ローテーションを有力な勝者へ徐々に寄せていくオプションがあります。判定には早くたどり着けますが、実験を行う価値を支えていた厳密さの一部と引き換えになります。急ぎのテストに使い、説明を求められるテストには使わないようにしましょう。

3つ目の読み方：オーディエンス別

どちらのモードにも、ほとんどのツールにはまったくない読み方があります。Personyzeのオーディエンス発見は、平均を大きく上回る、または下回ってコンバージョンするグループを訪問者データから見つけ出し、テストはそれぞれのオーディエンスの中で個別に評価されます。バージョンごとの率、そこでリードしているバージョン、そしてその確信度です。

実施中のテストのオーディエンス別の判定。サイト全体では勝っているバージョンが、直接アクセスの訪問者では負けていることがあり、各行がそれを確信度とともに示します。

これによって「勝者」の意味が変わります。全体ではBが勝ちましたが、スマートフォンの訪問者では確信度86%でAが勝ちました。合計しか報告しないツールなら、Bを公開して、知らないうちにスマートフォンでの体験を悪化させてしまいます。ここではレポートがその食い違いを明示し、キャンペーンエディターは、どのモードで判定していても、すべてのテストにそれを表示します。

それにどう対応するかは、今のところ意図的にシンプルにしています。キャンペーンは引き続き全員に1つの配分で配信するので、オーディエンス別の勝者に基づいて動くには、キャンペーンのコピーをそのオーディエンスに向け、勝ったバージョンを配信します。発見されたオーディエンスはキャンペーンのルール選択画面のカテゴリになっているので、数クリックで済みます。オーディエンスごとに異なる配分を自動で配信する機能はロードマップにあり、それを動かすのがこのオーディエンス別の評価です。

設定方法

1. キャンペーンの「コンテンツ」ステップで、バージョンをローテーショングループとして追加し、配分を設定します。コントロールグループが必要なら、サイトのオリジナルに配分を残しておきます。
2. 訪問者の割り当て方を選びます。ユーザーをローテーションは訪問のたびに同じバージョンを表示し、通常はこれが適切なデフォルトです。訪問は訪問ごとに割り当て直すので、表示そのものを測定するバナーや見出しに向いています。
3. 「ゴール」で、1つ以上を選びます。最初のものがメインのゴールです。
4. 「このテストの判定方法」で、有意差で勝者を選ぶとプリセットを選ぶか、AI:継続的に最適化を選び、保存します。
5. 結果は「パフォーマンス」ステップで確認します。継続モードでは、表に表示数、クリック数、最良である確率、現在の配分と推奨配分が並び、その下にオーディエンスごとの勝者バージョンが表示されます。

• A/Bテストと多変量テスト——エディターを段階ごとに紹介する機能ページ。
• オーディエンス発見——オーディエンス別の読み方の出どころ。
• パーソナライゼーションエンジンの判断の仕組み——ほかの層の中でテストが占める位置。