Gewinner wählen oder nie aufhören zu optimieren: zwei Arten, wie ein A/B-Test entscheidet

Jedes A/B-Testing-Tool stellt dieselbe Frage: Welche Version hat gewonnen? Doch damit können zwei verschiedene Dinge gemeint sein, und sie verlangen zwei verschiedene Arten von Test. Manchmal brauchen Sie eine Antwort — ein Redesign schlägt die alte Seite oder eben nicht, Sie gehen mit einer davon live und machen weiter. Manchmal brauchen Sie einen Verwalter — das Hero-Banner läuft das ganze Jahr, die beste Version im Januar ist nicht die beste im Juli, und niemand wird es jedes Quartal neu testen. Personyze führt beide Arten in derselben Kampagne aus, und die Einstellung, die zwischen ihnen wählt, heißt Wie dieser Test entscheidet. Dieser Beitrag erklärt, was jeder Modus tatsächlich tut, was er Sie kostet und wie Sie wählen.

Derselbe Test, auf zwei Arten entschieden. Links bleibt die Aufteilung fest, bis sich eine Version bewährt hat, dann bekommt der Gewinner den getesteten Traffic. Rechts verschiebt sich die Aufteilung jede Nacht ein wenig und hört nie auf.

Zwei Fragen, zwei Arten von Test

Ein klassischer A/B-Test ist ein Experiment. Sie legen die Aufteilung fest, warten, bekommen ein Urteil mit Konfidenzangabe, und der Test ist vorbei. Genau diese Fairness ist der Punkt: Weil sich die Aufteilung nie bewegt hat, ist der Vergleich sauber, und Sie können jedem zeigen, warum Sie so entschieden haben. Der Preis ist, dass die unterlegene Version bis zum Ende ihren vollen Traffic-Anteil erhält und dass das Urteil nur für den Zeitraum gilt, in dem der Test lief.

Die andere Art von Test nennen Statistiker einen Bandit: Statt mit der Entscheidung zu warten, entscheidet er immer wieder neu. Jede Nacht sieht er sich an, was zuletzt passiert ist, und gibt der Version, die gerade am besten abschneidet, etwas mehr Traffic – hält aber immer einen Teil zurück, um weiter zu lernen. Ein Urteil liefert er nie, weil er nie eines braucht. Der Preis ist, dass die Aufteilung der Wirklichkeit immer ein paar Tage hinterherläuft und der Vergleich nicht sauber genug ist, um ihn als Erkenntnis zu veröffentlichen. Das ist in Ordnung, wenn eine Erkenntnis nie das Ziel war.

Gewinner bei Signifikanz wählen: das Experiment

In diesem Modus bleibt der Traffic so, wie Sie ihn eingestellt haben, während die Versionen um Ihre Ziele konkurrieren, und der Test endet, wenn sich eine davon bewährt hat. Was „bewährt“ heißt, legen vier Schwellenwerte fest – und Personyze liefert sie strenger aus als die meisten Tools.

• Ein oder mehrere Ziele. Das erste gewählte Ziel ist das primäre; Bereitschaft und Gewinnerermittlung richten sich danach. Ein Test, der auf Klicks optimiert, und ein Test, der auf Umsatz optimiert, sind sich nicht immer einig – also legen Sie fest, welches Sie meinen.
• Konfidenz, Sitzungen, Laufzeit. Drei Voreinstellungen setzen alle drei auf einmal: Vorsichtig mit 99 % Konfidenz, 5.000 Sitzungen und 21 Tagen; Ausgewogen mit 95 %, 1.000 Sitzungen und 14 Tagen; Schnell mit 90 %, 500 Sitzungen und 7 Tagen. Oder Sie tragen eigene Werte ein. Die Mindestlaufzeit verhindert, dass ein guter Dienstag am Dienstag gewinnt.
• Eine Mindestverbesserung. Vorsichtig verlangt mindestens 1 % Lift, Ausgewogen 0,5 %. Eine Version, die mit einem statistisch echten, aber kommerziell bedeutungslosen Vorsprung führt, wird nicht übernommen.
• Eine Kontrollgruppe, wenn Sie möchten. Geben Sie der unveränderten Website einen eigenen Anteil — zwei Versionen mit je 45 % und 10 % zurückgehalten —, dann ist der Lift, den Sie berichten, der Lift, den Sie bewirkt haben, und nicht der Lift gegenüber einer Vermutung.

Ist die Hürde genommen, wird der Gewinner übernommen: der gesamte getestete Traffic, der Anteil, den Sie festlegen, oder gar nichts, wenn Sie lieber eine E-Mail bekommen und selbst entscheiden. Eine beibehaltene Kontrollgruppe bleibt zurückgehalten, damit die Kampagne auch nach der Entscheidung messbar bleibt. Dann ist es vorbei – genau das, was Sie davon wollten.

KI: laufend optimieren: der Verwalter

In diesem Modus endet nichts. Jede Nacht bewertet ein Durchlauf jede Version anhand dessen, was zuletzt passiert ist, und verschiebt die Aufteilung zu der, die gerade am besten abschneidet. Drei Eigenschaften machen es sicher, ihn laufen zu lassen.

• Aktueller Traffic zählt am meisten. Views und Klicks verlieren mit einer Halbwertszeit von 28 Tagen an Gewicht, und alles, was älter als 84 Tage ist, fällt heraus. Eine Version, die vor zwei Monaten die beste war, kann heute trotzdem verlieren – genau darum geht es: Er merkt, wenn sich eine Saison dreht.
• Er bewegt sich nur mit statistischer Sicherheit. Jede Version erhält eine Chance, die beste zu sein, berechnet aus Tausenden simulierter Wiederholungen der Daten. Nahezu gleiche Zahlen bedeuten, dass die Daten die Versionen noch nicht unterscheiden können, und dann bleibt die Aufteilung stehen. Unter ein paar Hundert gewichteten Views berechnet er überhaupt nichts, denn ein Bandit auf einer Handvoll Sitzungen ist ein Zufallszahlengenerator mit ernster Miene.
• 10 % erkunden immer. Ein Zehntel des Traffics wird jede Nacht gleichmäßig auf die Versionen verteilt, egal was passiert. Eine unterlegene Version sammelt weiter die Daten, die sie rehabilitieren könnten, keine Version wird je auf null gedrückt, und ein Datenausfall kann keine Version bei 100 % einfrieren.

Was der nächtliche Durchlauf tut, der Reihe nach. Nur der letzte Schritt greift in die Ausspielung ein, und er schreibt nur, wenn die empfohlene Aufteilung um drei Punkte oder mehr von der aktuellen abweicht.

Zwei weitere Regeln respektieren, was Sie eingestellt haben. Eine Version, die Sie auf 0 % setzen, ist Ihre Entscheidung und kein Datenpunkt, und sie bleibt bei 0 %; erst ein manuell vergebener Anteil nimmt sie wieder auf. Und der Optimierer verteilt nur den Traffic neu, den die Aufteilung bereits zuweist — eine Kampagne, die 10 % für die unveränderte Website zurückhält, hält sie weiter zurück.

Eine ehrliche Einschränkung: Der laufende Modus bewertet Interaktion — Klicks oder mehr pro bestätigtem View, wobei ein Klick, der zu einer Conversion führte, weiterhin zählt —, weil das Signal ist, das dauerhaft laufende Inhalte jeden Tag in großer Menge erzeugen. Geht es Ihnen um den Umsatz pro Sitzung bei einer Änderung im Checkout, ist das eine Frage für das Experiment, ausgerichtet auf genau dieses Ziel.

Welchen sollten Sie wählen?

Eine Faustregel, die sich bewährt hat: Wäre es Ihnen peinlich, es nächstes Quartal immer noch zu testen, wählen Sie einen Gewinner. Wäre es Ihnen peinlich, damit aufgehört zu haben, optimieren Sie laufend. Eine Preisseite gehört in die erste Gruppe. Ein Hero-Bereich auf der Startseite gehört in die zweite. Und Sie können es sich anders überlegen: Der Modus ist eine Einstellung der Kampagne, die beim Speichern greift, und dieselbe Kampagne kann zuerst als Experiment laufen und dann an den Optimierer übergeben werden, sobald sie zum Inventar gehört.

Es gibt eine Mischform, die man kennen sollte. Der Experimentmodus hat eine Option, die Rotation während des Tests schrittweise zum voraussichtlichen Gewinner zu verschieben. Das führt schneller zu einer Entscheidung, kostet aber einen Teil der Strenge, die das Experiment wertvoll gemacht hat. Nutzen Sie sie für zeitkritische Tests, nicht für die, die Sie später begründen müssen.

Die dritte Lesart: pro Zielgruppe

Beide Modi teilen eine Lesart, die die meisten Tools überhaupt nicht haben. Die Funktion Audience Discovery von Personyze durchsucht Ihre Besucherdaten nach Gruppen, die weit über oder unter dem Durchschnitt konvertieren, und der Test wird in jeder dieser Zielgruppen einzeln bewertet: die Rate pro Version, welche Version dort führt und wie sicher das ist.

Die Urteile pro Zielgruppe bei einem laufenden Test. Eine Version kann auf der gesamten Website gewinnen und bei den Besuchern verlieren, die direkt kommen, und die Zeilen sagen das – mit der Sicherheit jedes Urteils.

Das verändert, was ein „Gewinner“ ist. B hat insgesamt gewonnen, aber A hat bei Smartphone-Besuchern mit 86 % Sicherheit gewonnen. In einem Tool, das nur die Gesamtzahl berichtet, gehen Sie mit B live und verschlechtern unbemerkt das Smartphone-Erlebnis. Hier benennt der Bericht die Abweichung, und der Kampagneneditor zeigt sie bei jedem Test an, egal in welchem Modus er entscheidet.

Was Sie damit tun, ist heute bewusst einfach gehalten: Die Kampagne spielt weiterhin eine Aufteilung an alle aus. Um auf einen Gewinner pro Zielgruppe zu reagieren, richten Sie eine Kopie der Kampagne mit der gewinnenden Version auf diese Zielgruppe aus. Entdeckte Zielgruppen sind eine Kategorie in der Regelauswahl der Kampagne, das sind also ein paar Klicks. Automatisch eine eigene Aufteilung pro Zielgruppe auszuspielen steht auf der Roadmap, und die Bewertung pro Zielgruppe wird das steuern.

Einrichtung

1. Fügen Sie im Schritt Inhalt der Kampagne Ihre Versionen als Rotationsgruppen hinzu und legen Sie die Aufteilung fest. Für eine Kontrollgruppe bekommt die Option Unveränderte Website einen eigenen Anteil.
2. Wählen Sie, wie Besucher zugewiesen werden. Benutzerrotation hält einen Besucher bei jedem Besuch auf derselben Version und ist die richtige Standardeinstellung; Besuche weist jeden Besuch neu zu, für Banner und Überschriften, bei denen die Impression gemessen wird.
3. Unter Ziele wählen Sie ein oder mehrere Ziele; das erste ist das primäre.
4. Unter Wie dieser Test entscheidet wählen Sie Gewinner bei Signifikanz wählen und eine Voreinstellung oder KI: laufend optimieren. Speichern.
5. Lesen Sie das Ergebnis im Schritt Performance ab. Im laufenden Modus zeigt die Tabelle Views, Klicks, die Chance, die beste zu sein, die aktuelle und die empfohlene Aufteilung; darunter, welche Version pro Zielgruppe gewinnt.

• A/B- und multivariates Testing — die Produktseite, mit dem Editor Schritt für Schritt.
• Audience Discovery — woher die Lesart pro Zielgruppe kommt.
• Wie eine Personalisierungs-Engine entscheidet — wo Testing zwischen den anderen Ebenen steht.