Nivel 4 · Prueba la prueba con una división A/A

Dos tasas, una pregunta

Una prueba A/B termina con dos tasas de conversión. La pregunta es si la brecha entre ellas es mayor que la que esperarías solo por suerte. La prueba z de dos proporciones la responde midiendo la brecha en errores estándar:

z = (rate_B - rate_A) / se

Una z de 0 significa que no hay brecha. Una z cercana a ±2 significa que la brecha mide unos dos errores estándar, algo que ocurre por azar solo alrededor del 5% de las veces.

El error estándar agrupado

La prueba supone la hipótesis nula (sin diferencia), así que estima una sola tasa compartida con los dos grupos juntos, la tasa agrupada, y la usa para el error estándar de la diferencia:

pooled = (conv_a + conv_b) / (n_a + n_b)
se = math.sqrt(pooled * (1 - pooled) * (1 / n_a + 1 / n_b))

En la división A/A cada grupo tiene 20,000 sesiones. El grupo A convierte 577 veces (2.89%), el grupo B 616 veces (3.08%). La tasa agrupada es 2.98% y el error estándar de la diferencia, de unos 0.17 puntos.

De z a un valor p

La biblioteca estándar de Python trae la curva normal incluida. NormalDist().cdf(z) es la parte de la curva por debajo de z, así que la probabilidad de una brecha al menos así de extrema en cualquier dirección es:

from statistics import NormalDist
p_value = 2 * (1 - NormalDist().cdf(abs(z)))

Aquí z ≈ 1.15 y p ≈ 0.25: una brecha así entre dos mitades idénticas aparece en una de cada cuatro divisiones. No hay nada que ver, y eso es justo lo correcto, porque no había ninguna diferencia.

Por qué correr una prueba A/A

Una prueba A/A revisa la maquinaria: la asignación, el registro, el código de análisis. A lo largo de muchas pruebas A/A, cerca del 5% debería salir con p < 0.05, porque eso es lo que significa el umbral de 0.05. Y de verdad pasa: toma la misma división par/impar solo para 2024 y el año completo sale con p = 0.047. Dos mitades de tráfico idéntico, “significativo”. No es un error, es el 1 entre 20 que el umbral acepta, y la razón por la que una prueba significativa es evidencia, no prueba definitiva.

Errores comunes

• De una cola sin querer. Omitir el 2 × reduce el valor p a la mitad. Usa dos colas a menos que hayas decidido la dirección antes de empezar la prueba.
• Error estándar sin agrupar en la prueba. La tasa propia de cada grupo es correcta para un intervalo de confianza de la diferencia; la tasa agrupada es la opción estándar para la prueba en sí.
• Redondear z antes de calcular p. Redondea solo los números que reportas.
• Sesiones que no son independientes. Si las visitas de un mismo cliente caen en ambos grupos, la prueba es demasiado confiada. Divide por cliente cuando puedas.