Nivel 5 · La prueba que ganó espiando

Una revisión, una promesa

Cuando fijas el umbral en p < 0.05, aceptas que una prueba sin diferencia real será declarada ganadora el 5% de las veces. Esa promesa supone que analizas una vez, con un tamaño de muestra elegido de antemano. Nada en las matemáticas cubre “revisamos cada lunes y paramos cuando se veía bien”.

Qué hace el peeking

Calcular valores p sobre una prueba que crece es una caminata aleatoria. Al principio, con pocas sesiones, las tasas saltan de un lado a otro. Cada revisión es otro sorteo, y si paras en el primer sorteo bajo 0.05, te quedas con los afortunados y nunca los ves retroceder.

Priya repitió la división A/A par/impar, dos mitades de tráfico idéntico, semana a semana durante 2024:

revisada el	sesiones por grupo	grupo A	grupo B	p
28 ene	338	1.48%	3.56%	0.084
4 feb	422	1.18%	3.32%	0.037
25 feb	658	1.52%	2.74%	0.126
31 mar	1,132	2.47%	2.74%	0.692

El 4 de febrero “ganó” con un lift de 180%. Cinco de las 53 revisiones semanales de ese año salieron por debajo de 0.05. Un equipo que se hubiera detenido en la primera habría lanzado un cambio que no hacía nada.

¿Qué tan grave se pone? En una simulación de 2,000 pruebas A/A con una tasa de conversión de 3%, revisadas cada día durante 30 días, cerca del 30% cruzó p < 0.05 al menos una vez. Seis veces el 5% prometido.

Cómo hacerlo bien

• Fija el tamaño de muestra y la fecha de fin antes de lanzar (el Desafío final muestra cómo) y luego analiza una sola vez.
• Corre semanas completas. Los visitantes de entre semana y los de fin de semana se comportan distinto; parar un martes los mezcla de forma desigual.
• Mira por seguridad, no por victorias. Vigilar que no se rompa el pago está bien; decidir el ganador pronto no.
• Si debes decidir pronto, usa un método hecho para eso: las pruebas secuenciales o las reglas de gasto de alfa reparten el 5% entre las revisiones planeadas.

Errores comunes

• Celebrar un lift enorme y temprano. 3.32% frente a 1.18% con 422 sesiones cada uno son 14 pedidos contra 5. Los lifts grandes y tempranos suelen ser ruido.
• “Lo dejamos correr hasta que sea significativo.” Con suficientes revisiones, casi cualquier prueba A/A llegará ahí tarde o temprano.
• Alargar una prueba que “casi” ganó. Añadir días solo cuando p está cerca de 0.05 es peeking al revés, e infla los falsos positivos de la misma manera.
• Olvidar la lección del A/A. Incluso analizada una sola vez, una prueba A/A de un año completo puede cruzar la línea: la división de 2024 termina el año en p = 0.047. Una prueba significativa es evidencia, no prueba definitiva.