Nivel 3 · Lo que realmente dice p = 0.03

La pregunta que responde un valor p

Toda prueba de significancia parte de una hipótesis aburrida, la hipótesis nula: las dos versiones rinden exactamente igual, y cualquier brecha en los números es suerte. El valor p es la probabilidad de ver una brecha al menos tan grande como la tuya si esa hipótesis aburrida fuera cierta.

Un valor p pequeño significa que tus datos serían inusuales en un mundo sin diferencia. Eso es evidencia contra la nula. No es una medida directa de ninguna otra cosa.

Tres cosas que un valor p no es

• No es la probabilidad de que el resultado sea casualidad. “p = 0.03, así que hay un 3% de probabilidad de equivocarnos” invierte la condicional. El valor p es P(datos así de extremos | no hay diferencia), no P(no hay diferencia | datos). El segundo número depende de con qué frecuencia funcionan en absoluto ideas como esta, algo que la prueba nunca ve.
• No es la probabilidad de ganar la próxima vez. 1 − p = 0.97 no es la probabilidad de nada útil.
• No es el tamaño del efecto. Con una lista lo bastante grande, un lift de 0.1 puntos obtiene p < 0.001. Con una lista pequeña, un lift de 20% puede obtener p = 0.3. La significancia mide sorpresa; el lift y su intervalo miden tamaño.

De dónde sale el 0.05

El umbral de 0.05 es una convención, no una ley. Fijarlo significa aceptar que, cuando nada cambió, aproximadamente 1 prueba de cada 20 saldrá “significativa” de todos modos. Verás que eso ocurre con los datos de Harbor & Pine en los próximos niveles: una división A/A, donde ambas mitades vieron el mismo sitio, puede cruzar la línea por pura suerte.

Cómo escribirlo con honestidad

Una frase que Lauren puede enviar:

The new subject line had a [new]% open rate vs [old]% for the old one
(+[diff] points, 95% CI [low] to [high]). A gap this large would be
unusual if the two performed the same (p = 0.03).

Rellena los corchetes con los datos de la prueba; lo que importa es la forma. Da las dos tasas, la diferencia con su rango, el valor p y un significado en palabras simples. Nadie que la lea pensará que el lift está garantizado o que es enorme.

Errores comunes

• “97% seguros de que es mejor.” Eso no es lo que calculó la prueba.
• “No es significativo, así que no hay diferencia.” Un valor p grande significa que la prueba no pudo distinguirlo. El intervalo muestra qué diferencias siguen siendo posibles.
• Reportar solo estrellas o “sig”. Sin el lift y su intervalo, nadie puede juzgar si el resultado importa para el negocio.
• Correr muchas pruebas y reportar la que queda bajo 0.05. Con veinte variantes, una pasará solo por suerte.