Capítulo 6 · 6 niveles
Desafío final: el informe de la prueba promocional
Analiza una prueba A/B real de principio a fin: revisa la división, mide la conversión y el aumento, calcula un intervalo de confianza y un valor p, resiste la pesca de segmentos y redacta el veredicto.
Marketing hizo una prueba. Durante los dos últimos meses de 2025, la mitad de los visitantes del sitio de Harbor & Pine vio un banner que prometía envío gratis, y la otra mitad no. Ahora Jordan Reyes, director de Marketing, quiere saber si el banner funciona, y la respuesta decidirá si se queda en el sitio para siempre.
Este capítulo es el trabajo de principio a fin, tal como lo haría un analista sénior. Primero compruebas que la división misma esté sana, porque una división rota deja sin sentido todos los números que vienen después. Luego mides la conversión en cada grupo y el aumento, calculas un intervalo de confianza y un valor p para la diferencia, y ves qué pasa cuando alguien empieza a cortar los resultados por dispositivo hasta que algo se ve emocionante.
El desafío final es una segunda prueba, hecha en primavera, que analizas por tu cuenta y cierras con un veredicto y una frase sobre lo que la prueba pudo y no pudo detectar. Esa última parte es lo que separa un informe sobre el que la gente puede actuar de una tabla de números.
Cada nivel de código te da test: las sesiones dentro de la ventana de la prueba, con una columna
arm ("A" = sin banner, "B" = con banner). Las sesiones con session_id par vieron el banner.
Niveles
- Revisa la división antes del resultado
de Jordan Reyes, Director de Marketing
ab test, sample ratio mismatch, chi square, data quality
- Conversión por grupo y el aumento
de Jordan Reyes, Director de Marketing
ab test, conversion rate, lift, relative change
- ¿El aumento es real?
de Jordan Reyes, Director de Marketing
confidence interval, p value, z test, two proportion test
- El resultado de las tabletas
de Jordan Reyes, Director de Marketing
multiple comparisons, segment analysis, peeking, false positive
- Escribe la conclusión
de Jordan Reyes, Director de Marketing
conclusions, reporting, ab testing, data storytelling
- Desafío final: redacta el informe de la prueba de primavera
de Jordan Reyes, Director de Marketing
ab test, confidence interval, p value, minimum detectable effect, write up