PersonyzeのA/Bテスト新UI：設定がより簡単に、勝者を自動選択、結果がより明確に

Personyzeの A/Bテスト体験を最初から最後まで作り直しました——テストの対象者を選ぶ画面から、バリエーションを設定する画面、結果を読み解く画面まで。目指したのは、厳密なテストを直感的に行えるようにすることです。適切なオーディエンスを視覚的に指定し、スライダーでトラフィックを配分し、統計的な裏付けが得られたときだけPersonyzeに勝者を選ばせ、すべてのバリエーションを本物のコントロールグループと比較する。この記事では変更点を紹介します。新しいUIの3つのライブデモ——ターゲティング、設定、結果——もこのページ上で実際に操作できます。

変更点のまとめ

• リニューアルしたビジュアルターゲティングビルダー（AND / OR / XORロジック、ネストしたグループ、AIアシスタント、リアルタイムのオーディエンス予測を搭載）。
• ビジュアルなトラフィック配分スライダー（ホールドアウト＝コントロールグループを内蔵）。
• わかりやすい割り当て方法——訪問者に毎回同じバリエーションを見せるか、訪問ごとに新しいものを見せるかを選べます。
• 多変量テスト（サンプルサイズをリアルタイムに推定し、各組み合わせに必要なトラフィックがわかります）。
• 勝者の自動選択（有意性、サンプルサイズ、実行期間がすべて満たされたときにのみ作動）。
• リニューアルした結果ダッシュボード（KPIごとのタブ、セグメント別の内訳、配信状況、わかりやすい言葉での推奨事項を搭載）。

ターゲティング：テストを見る人を選ぶ

テストで何を試すかを決める前に、誰を対象にするかを決めます——そして、この画面が最も大きく変わりました。ターゲティングは、シンプルな条件から組み立てるビジュアルなルールツリーになり、ロジックは実際に考えるときの順序どおりに並びます。

• シンプルな条件からルールを作成。各ルールは1つのチェックです——「URLに/checkoutを含む」「国がオランダ」、CRMのフィールド、デバイス、さらには現地の天気まで。
• 条件ごとに含める・除外する。1つのグループ内で組み合わせられます——「/blogを含むが/blog/adminは除外」——2つのルールに分ける必要はありません。
• AND / OR / XOR。グループとグループの間には演算子のラベルがあり、クリックすると結果の組み合わせ方を変更できます。
• 括弧によるネストしたグループ。ルールをまとめて、そのロジックがツリー全体に波及しないようにします——深さは無制限で、階層ごとに色分け（緑→紫→琥珀）されるため、括弧が混ざって見えることはありません。
• ドラッグで並べ替え。ルールをハンドルでつかみ、任意のコネクタにドロップします——ネストしたグループの内外どちらでも——コネクタは自動でつながり直します。
• AIアシスタント。オーディエンスを普段の言葉で入力すると——「未登録のオランダのモバイル訪問者」など——ルールツリーを自動で組み立てます。そのまま使うことも、追加することもできます。
• リアルタイムのオーディエンス予測。編集に合わせてサイドバーが更新されます。一致率、実数、直近90分間の実トラフィックの円グラフが表示されるため——公開前にオーディエンスの規模を把握し、ライブセッションでルールを検証できます。

これはテストだけでなく、Personyzeのあらゆるパーソナライズ体験を支えているのと同じターゲティングで、行動ターゲティングと密接に関連しています。ここでオーディエンスを作成してみましょう：

テストビルダー

オーディエンスを設定したら、ビルダーは混同しやすい2つの概念を区別します。キャンペーンのコンテンツは、ターゲティングに合致するすべての人に、どのグループに属しているかにかかわらず表示されます——テストの一部ではなく、上に重なるレイヤーです。テストグループは実際にオーディエンスを分けるバリエーションで、それぞれサイトのオリジナルを基準として個別に測定されます。

その後は、いくつかの意図的な選択でテストをコントロールします。

• トラフィック配分。バーのハンドルをドラッグするか、任意のグループに正確な割合を入力します。サイトのオリジナルに10–20%を割り当てれば「何もしない場合より良かったか？」に答えられます。0%にすればオーディエンス全員をテストに含められます。
• 割り当て方法（「割り当て基準」）。 ユーザーをローテーションは、訪問をまたいで各訪問者を同じグループに保ちます——ファネルやチェックアウトのテストに適した既定値です。訪問は訪問のたびに割り当て直すため、短期間のバナーや見出しのテストに向いています。実施するすべてのテストで同じ恒久的なホールドアウトを使いたい場合は、キャンペーンをまたいだコントロールコホートも利用できます。
• 多変量の組み合わせ。組み合わせはすぐに増え、それぞれが有意性に達するにはトラフィックが必要です——ビルダーはサンプルサイズの推定値を表示するので、勝敗のつくテストを維持できます。

こちらがビルダーそのものです——配分をドラッグし、割り当て方法を切り替え、サイドパネルのテストの仕組みを開いてみてください：

勝者の自動選択——落とし穴なしで

テストで誤った答えを得る最短の道は、あるバリエーションがリードしているように見えた瞬間に止めてしまうことです。勝者の自動選択はまさにそれを防ぐための機能です。Personyzeが勝者を宣言して適用するのは、3つの条件がすべて満たされたときだけです。

• 統計的有意性。95%が業界標準です。90%にすると早く判定できますが、偽陽性のリスクが高まります。
• 最小サンプルサイズ。勝者が認められる前に、十分な数の訪問者がテストに参加する必要があります——トラフィックの少ないサイトでは値を上げ、初期のノイズの多い結果を避けましょう。
• 最低実行期間。実行期間の下限です。平日と週末の行動が両方反映されるよう、理想的には少なくとも1週間に設定します。

判定が下されたら——勝者の自動選択による自動判定でも、ダッシュボードの推奨事項を見てのご自身の判断でも——適用はワンアクションです。Personyzeが推奨される勝者の設定をキャンペーンに適用して保存するため、ターゲティングに合致するすべての人にとって、勝ったバリエーションがそのまま公開中の体験になります。

時間的な制約があるテストでは、ローテーションを自動調整により、データが集まるにつれてリードしているバリエーションにより多くのトラフィックを振り向けます——統計的な厳密さを多少犠牲にする代わりに、早く結果が出ます。意図的なトレードオフであり、明確に表示されます。

新しい結果ダッシュボード

結果画面は目標を中心に構成されています。主要目標（たとえばトライアル登録）のタブが勝者を決め、副次目標は副作用を見つけるための文脈として並走します——登録は増やすのに、デモ依頼をひそかに減らしてしまうバリエーションなど。そして補助KPI（直帰率、クリック率、サイト滞在時間など）は、バリエーションが勝っている、または負けている理由を説明します。

• 見かけではない、本当の改善率。すべてのバリエーションをホールドアウトのコントロールグループと比較するため、表示される数値は何もしない場合に対する改善率です——（バリエーション − コントロール）÷ コントロールで計算します。デモでは、コントロールの3.94%に対して4.99%の場合、改善率は+26.6%です。
• 95%で結論が出る。信頼度はコンバージョン率に対する両側z検定で算出します。しきい値を下回っている間、リードしているバリエーションは単にリードしているだけで——勝っているわけではありません。
• 有意性に達するまでの推定期間。各KPIのラベルが現在のトラフィックをもとに見通しを示すため、結果が出るまで数日なのか数週間なのかがわかります。
• 配信状況。バリエーションごとのチェックにより、不具合のあるバリエーションや配信が不足しているバリエーションが、知らないうちにテスト結果をゆがめることを防ぎます。

内訳パネルは、テストが パーソナライゼーションと出会う場所です。主要目標をデバイス、国、都市、URL、ブラウザ別に分割すると、各セグメントがそれぞれ小さなテストになります。全体で勝つバリエーションとモバイルで勝つバリエーションが異なる場合、それは単一のグローバルな勝者を展開するのではなく、セグメント別にパーソナライズするべきだというサインです。

勝てる体験が見つかったら、次のステップは、さまざまなデバイスやオーディエンスに向けた見せ方を磨き込むことです。 最新のUIデザインツールを使えば、成功したテストバリエーションを本番に反映する前に、インターフェースの改善を素早くプロトタイプ化し、デザインのアイデアを検証し、レイアウトを繰り返し改良できます。これにより、実験から実装までの流れがよりスムーズになります。

タブを切り替え、内訳を開き、組み込みのドキュメントを読んでみてください：

誠実なテストを標準で

判定を自動化する場合も自分で下す場合も、新しいUIが自然と導いてくれるいくつかの原則があります。

• 途中で覗いて判断しない。信頼度が初めて95%に達した瞬間に止めると、偽陽性が膨らみます——最小値の設定に守ってもらいましょう。
• 一度に1つだけテストする。レイアウト、色、コピーが同時に異なるバリエーションでは、勝者が出てもなぜ勝ったのかがわかりません。
• 重要な場面ではコントロールを使う。何もしない場合より良いと確かめる必要があるなら、ホールドアウトを残しましょう。
• 丸1週間をカバーする。平日と週末のサイクルを捉えられるよう、必ず十分な期間テストを実行しましょう。

全体の中での位置づけ

PersonyzeのA/Bテストは独立した機能ではありません——完全な パーソナライゼーションプラットフォームの一部であり、 レコメンド、ポップアップとバナー、行動ターゲティングと同じ訪問者プロファイル、同じターゲティングを共有しています。変更をテストして勝者を見つけ、セグメントごとに結果が分かれたら、その発見を全員一律の展開ではなくパーソナライズ体験に変えましょう。すぐに使える テンプレートから始めることもでき、設定手順の詳細は A/Bテストウィザードガイドに記載されています.

A/Bテストの新UI：よくある質問

新しいA/BテストUIは今すぐ誰が使えますか？

リニューアルしたA/Bテスト体験は、現在、新しいインターフェースの利用を選択した一部のお客様にご提供しています。すべてのPersonyzeアカウントへの提供も近日中に開始します。

PersonyzeのA/BテストUIの変更点は何ですか？

ターゲティング、テスト設定、結果の3つの画面をリニューアルしました。ターゲティングは、AND/OR/XORロジック、ネストしたグループ、AIアシスタント、リアルタイムのオーディエンス予測を備えたビジュアルなルールビルダーになりました。設定画面には、コントロールのホールドアウト付きトラフィック配分スライダー、わかりやすくなった割り当て方法、多変量の組み合わせ、勝者の自動選択が加わりました。結果ダッシュボードには、KPIごとのタブ、コントロールに対する改善率、95%の有意性、セグメント別の内訳、配信状況が加わりました。

新しいターゲティングビルダーはどのように機能しますか？

シンプルなルールでツリーを組み立てます。「URLに/checkoutを含む」「国がオランダ」といった条件を作り、それぞれを含める・除外するに設定し、グループをAND、OR、XORで組み合わせます。グループは色分けされた括弧で何階層でもネストでき、ルールはドラッグで並べ替えられます。AIアシスタントは普段の言葉で書いたオーディエンスをルールに変換し、リアルタイム予測が直近のトラフィックのうち一致する割合を表示します。

勝者の自動選択はどのように機能しますか？

Personyzeは主要目標に対して各バリエーションを継続的に評価し、両側z検定で統計的信頼度を算出します。有意水準（標準は95%）、最小サンプルサイズ、最低実行期間という3つのしきい値がすべて満たされると、リードしているバリエーションが勝者としてマークされます。3つすべてが満たされるまでは、リードしているだけで勝ってはいません。

自動適用はどのように機能しますか？

勝者の適用はワンアクションです。Personyzeが推奨される勝者の構成をキャンペーンに適用して保存するため、ターゲティングに合致するすべての人にとって、そのバリエーションが公開中の体験になります。勝者の自動選択を有効にしていれば、結果に結論が出た時点で自動的に適用されます。無効にしている場合は、準備ができたときにダッシュボードの推奨事項で［適用］をクリックします。

自動適用ではなく、最終判断を自分で下すことはできますか？

はい。勝者の自動選択は任意です。オフのままでも、ダッシュボードには根拠となる指標とともに推奨事項が表示されるため、内容を確認し、結果に納得したタイミングで手動で勝者を適用できます。

A/Bテストの結果に結論が出るのはいつですか？

コンバージョン率に対する両側z検定にもとづき、統計的信頼度が95%に達するとそのKPIは結論が出たとみなされます。それ未満では、リードしているバリエーションは単にリードしているだけで、勝ってはいません。目安として、少なくとも14日間実行し、有意性が数日間維持されてから判断しましょう。

デバイスや国など、セグメント別にA/Bテストの結果を確認できますか？

はい。内訳パネルでは、主要目標をデバイス、国、都市、URL、ブラウザ別に分割できます。各セグメントはそれぞれ独立した小さなテストとして扱われ、結論を出すには95%の信頼度が必要です。単一のグローバルな勝者を展開するより、セグメント別にパーソナライズすべき場面を見つけるのに役立ちます。

PersonyzeのAIについてもっと知る

• AIパーソナライゼーションエージェント——キャンペーンを説明するだけで、ブランドに合わせたデザインで構築します。
• AIマーケティングエージェント——普段の言葉での依頼が、公開準備の整ったキャンペーンになるまで。
• Personyze MCPサーバー——ClaudeやChatGPTからすべてを操作できます。
• ClaudeにPersonyzeを追加——Claudeのディレクトリからコネクタをインストールします。

テストの実施にコードや開発者は必要ですか？

いいえ。ターゲティング、トラフィック配分、バリエーション、目標、適用まで、すべてPersonyzeのUI上でクリック操作だけで行えます。テストの作成、実行、公開にコードは不要です。

自社サイトでこのようなテストを実施してみませんか？ 無料で始めるまたはデモを予約いただければ、実際の流れをご案内します。