Nivel 1 · Revisa la división antes del resultado

Por qué revisar primero la división

Una prueba A/B promete una cosa: los dos grupos solo difieren en lo que cambiaste. Si la asignación está rota, esa promesa desaparece y el resultado no significa nada, por limpio que se vea. Así que antes de mirar la conversión, compruebas que cada grupo recibió la parte del tráfico que debía. Esa revisión tiene nombre: la prueba de desajuste de proporción de muestra, o SRM.

La prueba del banner de Harbor & Pine dividió las sesiones por session_id: los ids pares vieron el banner (grupo B) y los impares no (grupo A). El plan era 50/50, así que cada grupo debería tener la mitad de las sesiones de la ventana.

test["arm"].value_counts()
# A    2604
# B    2604

La revisión con chi-cuadrado

“Cerca de la mitad” no es una prueba. El estadístico chi-cuadrado de bondad de ajuste mide qué tan lejos están los conteos de lo que predice el plan:

expected = len(test) / 2
chi2 = (n["A"] - expected) ** 2 / expected + (n["B"] - expected) ** 2 / expected

Con dos grupos hay un grado de libertad, y un chi-cuadrado con un grado de libertad es el cuadrado de una variable normal estándar. Así puedes obtener su valor p de la distribución normal de la biblioteca estándar de Python, sin SciPy:

from statistics import NormalDist
p = 2 * (1 - NormalDist().cdf(math.sqrt(chi2)))

Aquí los grupos son exactamente iguales, así que chi2 es 0 y el valor p es 1. La división está sana.

Cómo se ve una revisión que falla

Supón que el grupo B perdió el 3% de sus sesiones por un script lento del banner: 2,604 en A y 2,526 en B. Entonces chi2 es de unos 1.19 y p de unos 0.28, que todavía pasa. Si escalas la misma pérdida del 3% a una prueba de 50,000 sesiones por grupo, p baja de 0.0001. Las revisiones de SRM se vuelven más estrictas cuanto más grandes son las pruebas, y por eso las empresas grandes las ejecutan de forma automática. La mayoría de los equipos considera un valor p menor que 0.001 como una división fallida y detiene el análisis.

Errores comunes

• Mirar los conteos a ojo. 50.6% frente a 49.4% parece bien y puede ser un error real en una prueba grande.
• Cortar mal la ventana. started_at < "2025-12-31" descarta todo el último día, porque las marcas de tiempo del 31 de diciembre son posteriores a la medianoche. Usa < "2026-01-01" para una fecha de fin inclusiva.
• Revisar solo después de que el resultado decepciona. Haz la revisión de SRM primero, siempre, diga lo que diga el resultado. Una revisión que solo haces con malas noticias es una forma de elegir la respuesta que te gusta.

Nota de entrevista

“¿Qué revisarías antes de confiar en el resultado de una prueba A/B?” La proporción de muestra es la primera respuesta que esperan los entrevistadores, seguida de la ventana de la prueba, la unidad de aleatorización y la definición de la métrica.