Capítulo 6 · 6 niveles

Desafío final: el informe de la prueba promocional

Analiza una prueba A/B real de principio a fin: revisa la división, mide la conversión y el aumento, calcula un intervalo de confianza y un valor p, resiste la pesca de segmentos y redacta el veredicto.

Marketing hizo una prueba. Durante los dos últimos meses de 2025, la mitad de los visitantes del sitio de Harbor & Pine vio un banner que prometía envío gratis, y la otra mitad no. Ahora Jordan Reyes, director de Marketing, quiere saber si el banner funciona, y la respuesta decidirá si se queda en el sitio para siempre.

Este capítulo es el trabajo de principio a fin, tal como lo haría un analista sénior. Primero compruebas que la división misma esté sana, porque una división rota deja sin sentido todos los números que vienen después. Luego mides la conversión en cada grupo y el aumento, calculas un intervalo de confianza y un valor p para la diferencia, y ves qué pasa cuando alguien empieza a cortar los resultados por dispositivo hasta que algo se ve emocionante.

El desafío final es una segunda prueba, hecha en primavera, que analizas por tu cuenta y cierras con un veredicto y una frase sobre lo que la prueba pudo y no pudo detectar. Esa última parte es lo que separa un informe sobre el que la gente puede actuar de una tabla de números.

Cada nivel de código te da test: las sesiones dentro de la ventana de la prueba, con una columna arm ("A" = sin banner, "B" = con banner). Las sesiones con session_id par vieron el banner.

Niveles

  1. Revisa la división antes del resultado

    de Jordan Reyes, Director de Marketing

    ab test, sample ratio mismatch, chi square, data quality

    Código Dificultad 2 de 5 Sin empezar

  2. Conversión por grupo y el aumento

    de Jordan Reyes, Director de Marketing

    ab test, conversion rate, lift, relative change

    Código Dificultad 2 de 5 Sin empezar

  3. ¿El aumento es real?

    de Jordan Reyes, Director de Marketing

    confidence interval, p value, z test, two proportion test

    Código Dificultad 3 de 5 Sin empezar

  4. El resultado de las tabletas

    de Jordan Reyes, Director de Marketing

    multiple comparisons, segment analysis, peeking, false positive

    Quiz Dificultad 3 de 5 Sin empezar

  5. Escribe la conclusión

    de Jordan Reyes, Director de Marketing

    conclusions, reporting, ab testing, data storytelling

    Quiz Dificultad 3 de 5 Sin empezar

  6. Desafío final: redacta el informe de la prueba de primavera

    de Jordan Reyes, Director de Marketing

    ab test, confidence interval, p value, minimum detectable effect, write up

    Desafío final · 4 pasos Dificultad 4 de 5 Sin empezar

Elige qué puede ejecutarse en este sitio. Puedes cambiarlo cuando quieras desde "Configurar cookies", al pie de cada página.