Nivel 6 · Desafío final: redacta el informe de la prueba de primavera

Los cuatro números de un informe

Un informe de prueba responde cuatro preguntas, en este orden:

1. ¿Fue sana la prueba? La tabla de grupos: sesiones por grupo (la revisión de proporción de muestra) y conversiones.
2. ¿Qué pasó? El aumento, absoluto y relativo.
3. ¿Qué tan seguros estamos? El intervalo de confianza del 95% y el valor p.
4. ¿Qué podía haber visto la prueba? El efecto mínimo detectable, y el veredicto.

Construiste las tres primeras para la prueba de fiestas. La prueba de primavera es más pequeña: 1,068 sesiones por grupo frente a 2,604, y por eso importa tanto la cuarta pregunta.

Efecto mínimo detectable

La potencia es la probabilidad de que una prueba detecte un efecto que de verdad existe. El efecto mínimo detectable (MDE) es el efecto más pequeño que la prueba detecta con una potencia elegida, normalmente 80%, al nivel habitual del 5%:

nd = NormalDist()
mde_abs = (nd.inv_cdf(0.975) + nd.inv_cdf(0.8)) * math.sqrt(2 * p_a * (1 - p_a) / n_a)
mde_rel = mde_abs / p_a      # about 0.61

Con la muestra de primavera, solo un cambio de cerca del 61% en la conversión tenía una probabilidad razonable de aparecer. Los banners, los colores de botones y los cambios de texto suelen mover la conversión unos pocos por ciento. Esta prueba era demasiado pequeña para su pregunta antes de empezar, y es mejor decirlo que dejar que un resultado plano se lea como “el banner no hace nada”.

La misma fórmula responde la pregunta de planificación al revés: fija el aumento que te importa y despeja las sesiones que necesitas. Así evitas hacer la próxima prueba con poca potencia.

Redactar el veredicto

Fija la regla de decisión antes de mirar: lanzar ante una ganancia significativa, parar ante una pérdida significativa, y en cualquier otro caso llamarlo no concluyente. Entonces el veredicto se calcula, no se discute, y el informe para Jordan cabe en tres frases:

“El grupo del banner convirtió 3.00% frente a 3.84% (−0.84 puntos, −22%); el intervalo del 95% va de −2.38 a +0.70 puntos, p = 0.28. Veredicto: no concluyente. Con 1,068 sesiones por grupo la prueba solo podía detectar cambios de cerca del 61%, así que no puede descartar un efecto típico de un banner en ninguna de las dos direcciones.”

Errores comunes

• Empezar con el aumento relativo. “−22%” solo suena a desastre. Con su intervalo es un encogimiento de hombros.
• Tratar “no concluyente” como “sin efecto”. Una prueba con poca potencia que no encuentra nada ha aprendido muy poco. Di qué tan grande podría haber sido el efecto que habría encontrado.
• Escribir el veredicto a mano. Si la regla está escrita en código, cualquiera puede volver a ejecutarla y obtener la misma conclusión, incluso cuando habría preferido otra.
• Reutilizar la conclusión de fiestas. La temporada, la mezcla de tráfico y el tamaño de la muestra son distintos. Cada prueba tiene su propio informe.