Capítulo 3 · 6 niveles
Comparar grupos y pruebas A/B
Tasas de conversión, lift, intervalos de confianza, valores p explicados con honestidad, la prueba z de dos proporciones, el peeking y cuánto tráfico necesita realmente una prueba, con las sesiones web de Harbor & Pine.
“¿Funcionó la página nueva?” es la pregunta que más oyen los analistas después de “¿cuánto vendimos?”. Para responderla hay que comparar dos grupos, y comparar grupos significa decidir qué parte de una diferencia es real y cuál es ruido.
Este capítulo trabaja con web_sessions: 40,000 visitas al sitio de Harbor & Pine, cada una con un
dispositivo, una fuente de tráfico y si terminó en un pedido (converted). Empiezas con los números
simples, la tasa de conversión y el lift, y luego pones un intervalo alrededor de una tasa para saber
qué tan segura es. Aprendes qué dice un valor p y qué no dice, y ejecutas una prueba z sobre una
división en la que ya conoces la respuesta verdadera: dos mitades del mismo tráfico, una prueba A/A.
Después vienen las trampas: revisar una prueba cada pocos días y detenerla cuando se ve bien, y empezar una prueba que nunca podría detectar el efecto que te importa. El Desafío final planea una prueba real para el equipo de marketing y descubre qué puede y qué no puede demostrar el tráfico de la tienda.
Niveles
- Conversión en escritorio frente a móvil
de Daniel Foster, Gerente de producto móvil
conversion rate, lift, relative difference, proportions
- ¿Qué tan segura es la tasa móvil?
de Daniel Foster, Gerente de producto móvil
confidence interval, standard error, proportions, margin of error
- Lo que realmente dice p = 0.03
de Lauren Hayes, Gerente de email marketing
p value, null hypothesis, statistical significance, effect size
- Prueba la prueba con una división A/A
de Priya Shah, Directora de datos
z test, a a test, p value, pooled proportion, standard error
- La prueba que ganó espiando
de Priya Shah, Directora de datos
peeking, false positive, stopping rules, a a test
- Desafío final: planifica la prueba del banner
de Jordan Reyes, Director de marketing
sample size, power, minimum detectable effect, baseline rate, test duration