Cómo leer una prueba A/B de la división al veredicto

La idea

Marketing mostró el banner de envío gratis a la mitad de los visitantes de Harbor & Pine en noviembre y diciembre de 2025 y quiere saber si funciona. La respuesta es una cadena corta de preguntas, y el orden importa porque cada una solo tiene sentido si la anterior se respondió bien.

La cadena convierte un montón de sesiones en un veredicto sobre el que una persona puede actuar. Saltarse un eslabón no ahorra tiempo. Produce un número que parece una respuesta.

La prueba de Harbor & Pine es buena para aprender, porque la respuesta honesta es algo desinflante: el banner ni funciona claramente ni falla claramente. Un informe que puede decirlo con claridad es más útil para una responsable de marketing que uno que fuerza un sí o un no.

Por qué existe

Una prueba A/B aleatorizada es el mejor diseño que tiene un analista para causa y efecto, porque la única diferencia sistemática entre los grupos es lo que cambiaste. Esa afirmación tiene condiciones: los visitantes se dividieron de forma justa, la muestra era lo bastante grande y nadie eligió un resultado favorito después de mirar.

Un informe es la forma de comprobar y dejar constancia de esas condiciones. Un responsable de marketing que lee "la conversión subió 7%" actuará en consecuencia. El trabajo de un buen analista es asegurarse de que ese número llegue con su incertidumbre, sus límites y una recomendación clara.

Cómo funciona por dentro

1. Revisa la división antes que el resultado

La asignación aquí es por id de sesión: los ids pares vieron el banner. Si la división es sana, ambos grupos tienen casi el mismo número de sesiones y se parecen en mezcla de dispositivos y fuente de tráfico. Un desequilibrio inesperado, llamado desajuste de proporción de muestra (sample ratio mismatch), significa que se rompió la asignación o el registro, y la comparación ya no es entre grupos parecidos. Contrasta los conteos con la división 50/50 prevista antes de mirar la conversión. Aquí son 2,604 y 2,604.

2. Mide la conversión y la mejora

La conversión por grupo son pedidos divididos entre sesiones: 3.76% para A y 4.03% para B. La mejora absoluta es la diferencia, 0.27 puntos. La mejora relativa la divide entre la tasa del control, 7.1%. Cita ambas. Las mejoras relativas suenan grandes sobre una base pequeña, y las absolutas dicen cuánto vale el cambio en pedidos.

3. Pon incertidumbre encima

El intervalo del 95% de la diferencia va de -0.78 a +1.32 puntos. Incluye el cero, así que los datos no pueden decir si el banner ayuda, no hace nada o perjudica un poco. La prueba z de dos proporciones coincide: z = 0.50 y p = 0.62. Bajo "no hay diferencia", una diferencia de este tamaño aparecería en cerca del 62% de las pruebas repetidas.

4. Sabe qué podía detectar la prueba

El efecto mínimo detectable es la menor diferencia real que una prueba de este tamaño atraparía con fiabilidad, con potencia del 80% al nivel del 5%. Con 2,604 sesiones por grupo en torno a una tasa del 3.9%, es de unos 1.5 puntos porcentuales, más o menos una mejora relativa del 40%. La mejora observada del banner, 7%, queda muy por debajo, así que la prueba era demasiado pequeña para resolver un efecto modesto en cualquier sentido. Esa frase pertenece al informe.

5. Resiste los cortes

Cuando el titular decepciona, alguien corta por dispositivo, fuente o país hasta que algo se ve bien. Cada corte es otra oportunidad para la suerte. Aquí está la misma prueba por dispositivo.

Tres cortes por dispositivo al nivel del 5% dan cerca de un 14% de probabilidad, 1 menos 0.95 al cubo, de que al menos uno cruce p < 0.05 sin efecto real. Un corte solo merece seguirse si se planeó antes de que llegaran los datos o si el resultado se replica en una prueba nueva. Si no, infórmalo como una pista para una prueba futura, no como un hallazgo.

Antes del veredicto, un hábito más: escribe de antemano la regla de decisión. Di qué mejora haría que el banner valiera la pena, cuánto dura la prueba y cuándo vas a mirar. Una regla fijada antes de que lleguen los datos es lo que hace que el valor p y el intervalo signifiquen lo que dicen, y hace la conversación posterior sobre el resultado bastante más tranquila.

6. Escribe el veredicto

Un buen veredicto tiene cuatro partes: el resultado con su intervalo, lo que la prueba podía y no podía detectar, la decisión que respalda y el siguiente paso. Para esta prueba: el banner mostró una mejora de 0.27 puntos con un intervalo del 95% de -0.78 a +1.32 puntos; la prueba solo podía detectar diferencias de unos 1.5 puntos; no hay evidencia de que el banner funcione ni de que no funcione; para resolverlo, corre una prueba más larga dimensionada para la mejora que justificaría conservar el banner.

Errores comunes

"p mayor que 0.05 significa que el banner no hace nada"

Significa que los datos no bastaron para distinguirlo. La ausencia de evidencia no es evidencia de ausencia, y una prueba demasiado pequeña produce valores p grandes para efectos reales. Lee el intervalo y di el efecto más pequeño que la prueba podía haber detectado.

"Si la prueba global es plana, el segmento que ganó es el resultado real"

El corte de tablet saltó de 3.27% a 5.36%, y su propio valor p es 0.25. Cortar un resultado plano en pedazos y quedarse con el mejor es una forma de encontrar ruido. Trátalo como una hipótesis para una prueba nueva.

"Una mejora mayor en la muestra significa una mejora mayor en la realidad"

Una mejora medida en unos pocos miles de sesiones tiene un intervalo ancho, y las estimaciones extremas son las que más probablemente se encogerán al repetir. El resumen honesto del 7% es "desde una pequeña pérdida hasta una ganancia considerable", no "7%".