Elegir un ganador o no dejar nunca de optimizar: dos formas en que decide una prueba A/B

Todas las herramientas de pruebas A/B hacen la misma pregunta: ¿qué versión ganó? Pero con eso puedes querer decir dos cosas distintas, y cada una pide un tipo de prueba diferente. A veces necesitas una respuesta — un rediseño supera a la página antigua o no, publicarás una de las dos y seguirás adelante. A veces necesitas un gestor — el banner principal estará todo el año, la mejor versión en enero no es la mejor en julio, y nadie va a volver a probarlo cada trimestre. Personyze ejecuta ambos tipos desde la misma campaña, y el ajuste que elige entre ellos se llama Cómo decide esta prueba. Este artículo explica qué hace realmente cada modo, qué te cuesta y cómo elegir.

La misma prueba, decidida de dos maneras. A la izquierda, el reparto se mantiene hasta que una versión demuestra su valía y entonces el ganador se lleva el tráfico probado. A la derecha, el reparto se mueve un poco cada noche y nunca se detiene.

Dos preguntas, dos tipos de prueba

Una prueba A/B clásica es un experimento. Fijas el reparto, esperas, obtienes un veredicto con su nivel de confianza y la prueba termina. Esa equidad es precisamente la clave: como el reparto nunca se movió, la comparación es limpia y puedes demostrarle a cualquiera por qué tomaste la decisión. El precio es que la versión perdedora sigue recibiendo toda su parte del tráfico hasta el final, y que el veredicto solo es válido para el periodo en que se ejecutó.

El otro tipo de prueba es lo que los estadísticos llaman un bandit: en lugar de esperar para decidir, sigue decidiendo una y otra vez. Cada noche mira lo que ha pasado recientemente y da un poco más de tráfico a la versión que mejor está funcionando ahora, sin dejar nunca de reservar una parte para seguir aprendiendo. Nunca emite un veredicto, porque nunca lo necesita. El precio es que el reparto siempre va unos días por detrás de la realidad, y que la comparación no es lo bastante limpia como para publicarla como hallazgo. No pasa nada si el objetivo nunca fue un hallazgo.

Elegir un ganador por significancia: el experimento

En este modo el tráfico se mantiene como lo configuraste mientras las versiones compiten en tus objetivos, y la prueba concluye cuando una de ellas demuestra su valía. Qué significa “demostrar su valía” son cuatro umbrales, y Personyze los trae más estrictos que la mayoría de las herramientas.

• Objetivos, uno o varios. El primer objetivo que eliges es el principal; la preparación y la elección del ganador lo siguen. Una prueba que optimiza clics y otra que optimiza ingresos no siempre coinciden, así que indicas a cuál te referías.
• Confianza, sesiones, duración. Tres configuraciones predefinidas fijan las tres cosas a la vez: Prudente con un 99% de confianza, 5.000 sesiones y 21 días; Equilibrado con un 95%, 1.000 sesiones y 14 días; Rápido con un 90%, 500 sesiones y 7 días. O introduce tus propios valores. La duración mínima es lo que impide que un buen martes gane en martes.
• Una mejora mínima. Prudente pide al menos un 1% de lift; Equilibrado, un 0,5%. Una versión que va por delante con un margen estadísticamente real pero comercialmente irrelevante no se promueve.
• Un grupo de control, si lo quieres. Da al sitio sin cambios su propia parte — dos versiones al 45% y un 10% reservado — y el lift que comunicas es el lift que tú causaste, no el lift frente a una suposición.

Cuando se supera el listón, el ganador se promueve: todo el tráfico probado, la parte que tú indiques o nada en absoluto si prefieres recibir un email y decidir tú. Un grupo de control que hayas mantenido sigue reservado, para que la campaña pueda seguir midiéndose después de la decisión. Y ahí termina, que es exactamente lo que querías.

IA: optimizar continuamente: el gestor

En este modo nada concluye. Cada noche, una pasada puntúa cada versión según lo que ha pasado recientemente y reequilibra el reparto hacia la que mejor funciona ahora. Tres propiedades hacen que sea seguro dejarlo funcionando.

• El tráfico reciente es el que más cuenta. Las visualizaciones y los clics pierden peso con una vida media de 28 días, y todo lo que tiene más de 84 días se descarta. Una versión que era la mejor hace dos meses puede perder hoy, y esa es la idea: detecta cuándo cambia la temporada.
• Solo se mueve con confianza estadística. Cada versión recibe una probabilidad de ser la mejor, calculada a partir de miles de repeticiones simuladas de los datos. Cifras casi iguales significan que los datos aún no distinguen las versiones, y entonces el reparto se queda quieto. Además, se niega a calcular nada por debajo de unos cientos de visualizaciones ponderadas, porque un bandit con un puñado de sesiones es un generador de números aleatorios con cara seria.
• 10% siempre explorando. Una décima parte del tráfico se reparte a partes iguales entre las versiones cada noche, pase lo que pase. Una versión perdedora sigue obteniendo los datos que podrían redimirla, ninguna versión llega nunca a cero y un corte de datos no puede congelar una versión al 100%.

Lo que hace la pasada nocturna, en orden. El último paso es el único que afecta a lo que se sirve, y solo escribe cuando el reparto recomendado difiere del actual en tres puntos o más.

Otras dos reglas tienen que ver con respetar lo que configuraste. Una versión que pones al 0% es tu decisión, no un dato, y se queda al 0%; darle una parte a mano es lo que la vuelve a incluir. Y el optimizador solo reasigna el tráfico que el reparto ya asigna — una campaña que reserva un 10% para el sitio sin cambios lo sigue reservando.

Un límite honesto: el modo continuo puntúa la interacción — clics o más sobre visualizaciones confirmadas, donde un clic que acabó en conversión sigue contando — porque esa es la señal que el contenido siempre activo produce en volumen, cada día. Si lo que te importa son los ingresos por sesión en un cambio del checkout, esa es una pregunta para el experimento, dirigido a ese objetivo.

¿Cuál deberías elegir?

Una regla práctica que ha resistido: si te daría vergüenza seguir probándolo el próximo trimestre, elige un ganador. Si te daría vergüenza haber parado, optimiza continuamente. Una página de precios pertenece al primer grupo. Un banner principal de la página de inicio, al segundo. Y puedes cambiar de opinión: el modo es un ajuste de la campaña que se aplica al guardar, y la misma campaña puede funcionar primero como experimento y pasar al optimizador cuando ya forma parte del mobiliario.

Hay una opción híbrida que conviene conocer. El modo experimento tiene una opción para desplazar gradualmente la rotación hacia el probable ganador mientras dura la prueba. Llega antes a una decisión, a costa de parte del rigor que hacía que el experimento mereciera la pena. Úsala en pruebas urgentes, no en las que tendrás que defender.

La tercera lectura: por audiencia

Los dos modos comparten una lectura que la mayoría de las herramientas no tiene. El Descubrimiento de audiencias de Personyze analiza tus datos de visitantes en busca de los grupos que convierten muy por encima o muy por debajo de la media, y la prueba se puntúa dentro de cada una de esas audiencias por separado: la tasa por versión, qué versión va por delante allí y con qué seguridad.

Los veredictos por audiencia de una prueba en curso. Una versión puede ganar en el conjunto del sitio y perder con los visitantes que llegan directamente, y las filas lo dicen, con la seguridad de cada decisión.

Esto cambia lo que es un “ganador”. B ganó en el total, pero A ganó entre los visitantes de móvil con un 86% de seguridad. En una herramienta que solo informa del total, publicas B y empeoras en silencio la experiencia en móvil. Aquí el informe señala la discrepancia, y el editor de campañas la muestra en cada prueba, decida en el modo que decida.

Qué hacer al respecto es deliberadamente sencillo hoy: la campaña sigue sirviendo un único reparto a todo el mundo, así que para actuar sobre un ganador por audiencia segmentas una copia de la campaña a esa audiencia con su versión ganadora. Las audiencias descubiertas son una categoría en el selector de reglas de la campaña, así que son unos pocos clics. Servir automáticamente un reparto distinto por audiencia está en la hoja de ruta, y la puntuación por audiencia es lo que lo impulsará.

Configuración

1. En el paso Contenido de la campaña, añade tus versiones como grupos de rotación y define el reparto. Asigna al Sitio original una parte si quieres un grupo de control.
2. Elige cómo se asignan los visitantes. Rotar usuarios mantiene al visitante en la misma versión en cada visita y es la opción por defecto adecuada; Visitas reasigna cada visita, para banners y titulares en los que se mide la impresión.
3. En Objetivos, elige uno o varios; el primero es el principal.
4. En Cómo decide esta prueba, elige Elegir un ganador por significancia y una configuración predefinida, o IA: optimizar continuamente. Guarda.
5. Consulta el resultado en el paso Rendimiento. En el modo continuo, la tabla muestra visualizaciones, clics, probabilidad de ser la mejor, el reparto actual y el recomendado; debajo, qué versión gana en cada audiencia.

• Pruebas A/B y multivariantes — la página de la función, con el editor mostrado paso a paso.
• Descubrimiento de audiencias — de dónde sale la lectura por audiencia.
• Cómo decide un motor de personalización — dónde encajan las pruebas entre las demás capas.