Nivel 3 · ¿El aumento es real?

La pregunta detrás de la prueba

Aunque el banner no hiciera nada, los dos grupos no convertirían exactamente a la misma tasa. Quién cae en cada grupo es aleatorio, y con unas 100 conversiones por grupo, la suerte sola mueve las tasas décimas de punto. Así que la pregunta real es: ¿la diferencia es mayor de lo que suele producir la suerte? Dos herramientas la responden, y quieres ambas en un informe.

El intervalo de confianza

El error estándar (EE) de una diferencia entre dos tasas es

se = math.sqrt(p_a * (1 - p_a) / n_a + p_b * (1 - p_b) / n_b)   # 0.0054

y un intervalo de confianza del 95% es la diferencia ± 1.96 errores estándar:

diff - 1.96 * se, diff + 1.96 * se    # (-0.0078, 0.0132)

Léelo así: los valores de −0.78 a +1.32 puntos porcentuales son todos coherentes con lo que vimos. El intervalo contiene el cero, así que “sin efecto” es coherente con los datos. También contiene +1 punto, una gran victoria, así que “sin efecto” tampoco queda demostrado. La prueba simplemente no fue lo bastante precisa para decirlo.

El valor p

La prueba z hace la misma pregunta desde el otro lado. Supón que no hay efecto: entonces ambos grupos comparten una sola tasa de conversión, la tasa agrupada (203 conversiones de 5,208 sesiones). Mide a cuántos errores estándar de distancia están los grupos bajo ese supuesto:

pooled = arms["conv"].sum() / (n_a + n_b)
se0 = math.sqrt(pooled * (1 - pooled) * (1 / n_a + 1 / n_b))
z = diff / se0                                  # 0.50
p = 2 * (1 - NormalDist().cdf(abs(z)))          # 0.62

“De dos colas” significa que una diferencia así de grande en cualquier dirección cuenta, porque también querrías saber si el banner perjudicó. Un valor p de 0.62 significa: si el banner no hiciera nada, una diferencia al menos así de grande ocurriría el 62% de las veces. No sorprende en absoluto.

Decirlo con honestidad

Lo que p = 0.62 no significa: un 62% de probabilidad de que el banner no haga nada, ni una prueba de que no tiene efecto. La frase honesta es: “El grupo del banner convirtió 0.27 puntos mejor, pero el intervalo del 95% va de −0.78 a +1.32 puntos (p = 0.62). No encontramos evidencia de que el banner cambie la conversión.”

Errores comunes

• Usar el EE agrupado para el intervalo. El EE agrupado supone que no hay diferencia, lo cual es correcto para la prueba e incorrecto para un intervalo alrededor de la diferencia que observaste.
• Valores p de una cola elegidos después de ver el resultado. Dividir p a la mitad porque el aumento salió positivo es una decisión que debes tomar antes de la prueba, no después.
• “No significativo” como “sin efecto”. La ausencia de evidencia no es evidencia de ausencia, sobre todo en una prueba pequeña. Qué tan pequeña fue esta es el tema del desafío final.