Nivel 6 · Desafío final: planifica la prueba del banner

Planifica antes de lanzar

Toda prueba A/B necesita tres números decididos antes de empezar: la tasa base (cómo convierte la versión actual), el lift mínimo que vale la pena detectar (el efecto mínimo detectable) y el tamaño de muestra que da una oportunidad justa de ver ese lift si es real. Si te saltas esto, o paras demasiado pronto (la trampa del peeking) o corres una prueba que nunca podría haber encontrado nada.

Potencia y alfa

Dos tasas de error entran en el plan:

• alfa = 0.05: la tasa de falsos positivos que aceptas cuando no hay efecto real.
• potencia = 0.80: la probabilidad de detectar el lift cuando es real. El otro 20% es un falso negativo: una mejora real que la prueba no ve.

Cada una se convierte en un valor z de la curva normal: NormalDist().inv_cdf(0.975) ≈ 1.96 para un alfa de dos colas de 0.05, y NormalDist().inv_cdf(0.80) ≈ 0.84 para una potencia del 80%.

La fórmula del tamaño de muestra

Para dos tasas de conversión p0 (control) y p1 (la tasa que esperas ver), las sesiones necesarias por grupo son:

n = (z_alpha + z_beta) ** 2 * (p0 * (1 - p0) + p1 * (1 - p1)) / (p1 - p0) ** 2

La brecha p1 − p0 va al cuadrado en el denominador. Esa es toda la historia de las pruebas A/B en sitios pequeños: las tasas de conversión bajas hacen la brecha diminuta, y una brecha diminuta al cuadrado hace n enorme.

Lo que la tienda puede pagar

Con las 44.5 sesiones diarias de 2025 y una base de 3.08%, esto es lo que cuesta cada lift objetivo:

lift a detectar	sesiones por grupo	días con todo el tráfico
10%	51,752	2,329
20%	13,530	609
30%	6,275	283
50%	2,445	111

Incluso un lift del 50% necesita casi cuatro meses. Esto es normal en una tienda pequeña, y es la razón por la que las empresas grandes pueden probar colores de botones y las pequeñas no.

Errores comunes

• Lift relativo frente a absoluto. Un “lift del 10%” sobre una base de 3% significa 3.3%, no 13%.
• Por grupo frente a total. La fórmula da un grupo. La prueba necesita los dos.
• Planificar con un mes de mucho movimiento. Noviembre y diciembre convierten mejor y traen más tráfico; un plan hecho con cifras de temporada navideña subestima el tiempo que necesita una prueba de primavera. Usa un año completo.
• Bajar el listón para que quepa en el calendario. Correr dos semanas “porque es lo que tenemos” no vuelve detectable un lift del 10%. Hace probable un resultado falso, en cualquier dirección.