Qué dicen de verdad un valor p y un intervalo de confianza

La idea

Cambias algo en el sitio y la conversión pasa de 2.41% a 2.9%. ¿Fue el cambio, o solo qué visitantes llegaron esa semana? Toda comparación entre grupos tiene este problema: los visitantes de dos grupos difieren por azar, incluso cuando los tratas igual.

Dos herramientas lo responden. Un intervalo de confianza dice qué rango de valores reales es plausible dados los datos. Un valor p dice qué tan sorprendente sería la diferencia observada si la diferencia real fuera cero. Salen del mismo cálculo y llevan la misma información desde dos ángulos.

web_sessions de Harbor & Pine tiene 40,000 visitas. Desktop convierte al 3.87% y mobile al 2.41%. Los intervalos muestran cuánto podemos fiarnos de cada número, y el hueco entre ellos es la evidencia.

Por qué existe

Sin estas herramientas, un equipo tiene dos maneras de decidir. Puede fiarse de cualquier diferencia visible, lo que significa perseguir ruido y lanzar cambios que no hacen nada. O puede fiarse solo de las diferencias que "parecen grandes", lo que depende de quién mire. Un valor p y un intervalo hacen precisa la pregunta: ¿qué tan grande es la diferencia y cuánto de eso puede ser suerte?

El beneficio práctico es una mejor conversación con quien decide. En lugar de "mobile se ve peor", puedes decir "mobile convierte entre 2.21% y 2.62%, desktop entre 3.56% y 4.19%, y la diferencia es de unos 1.5 puntos". Un lector puede actuar sobre eso y discutirlo en sus propios términos.

También marcan un punto de parada. Si el intervalo de la mejora va de -0.8 a +1.3 puntos, el informe honesto es "aún no sabemos el signo", y nadie debería aparentar lo contrario.

Cómo funciona por dentro

Intervalos de confianza

Para una tasa de conversión p medida sobre n sesiones, el error estándar es sqrt(p(1-p)/n). El intervalo del 95% es la tasa más o menos 1.96 de esos errores. Mobile: p = 2.41%, n = 21,549, error estándar 0.10 puntos, intervalo de 2.21% a 2.62%.

La lectura correcta trata del método: si repitieras todo el estudio muchas veces y construyeras un intervalo cada vez, el 95% de esos intervalos contendría la tasa real. Un intervalo concreto la contiene o no la contiene. "Hay un 95% de probabilidad de que la tasa real esté en este rango" es un atajo común, pero impreciso.

La prueba z de dos proporciones

Para comparar dos grupos, supón por un momento que comparten una tasa real y mide qué tan inusual es la diferencia observada. Ese es el procedimiento del diagrama.

Usando 1.96 como umbral de una prueba de dos colas al nivel del 5%, cualquier |z| por encima de 1.96 da un p por debajo de 0.05. Aquí z es casi 8, así que la diferencia entre desktop y mobile no es suerte.

Qué dice p = 0.03 y qué no dice

El valor p es una probabilidad sobre los datos, dado que la nula es cierta: "si no hubiera una diferencia real, ¿con qué frecuencia aparecería una diferencia así de grande o mayor?" No es la probabilidad de que la nula sea cierta, ni la probabilidad de que el resultado sea casualidad, ni una medida del tamaño del efecto. Una muestra enorme puede dar un p diminuto para una mejora demasiado pequeña para importar, y una muestra pequeña puede dar un p grande para una mejora real y valiosa. Lee siempre el valor p junto con el tamaño de la diferencia y su intervalo.

Pruebas A/A, para aprender cómo se ve la suerte

Divide el mismo tráfico en dos sin cambiar nada: sesiones con id par frente a impar. Las pares convierten al 3.08% y las impares al 2.89%, una diferencia de 0.2 puntos, z = 1.15, p = 0.25. No pasa nada, y aun así los dos números difieren. Ese es el ruido que hay que superar.

Mirar antes de tiempo y el tamaño de la muestra

Un valor p solo es válido si decides el tamaño de la muestra de antemano y miras una vez. Revisa una prueba cada semana y párala en el primer p por debajo de 0.05, y cada vistazo le da otra oportunidad al azar. Al reproducir la división A/A de Harbor & Pine en 2024 con una revisión semanal, los grupos cruzaron p < 0.05 el 4 de febrero (B con 3.32% frente a A con 1.18%, p = 0.037). El 31 de marzo la diferencia había desaparecido, p = 0.69. Un falso ganador.

La otra trampa es una prueba demasiado pequeña para encontrar nada. Para detectar una mejora relativa del 10% sobre una tasa base de 2.98% (de 2.98% a 3.28%) con potencia del 80% al nivel del 5%, cada grupo necesita unas 53,500 sesiones. El conjunto de datos entero tiene 40,000 sesiones, todos los años juntos. Esa prueba no puede responder la pregunta, por muy cuidadoso que sea el análisis.

Errores comunes

"p = 0.03 significa que hay un 97% de probabilidad de que mi cambio funcione"

El valor p supone que el cambio no hace nada y pregunta qué tan sorprendentes son los datos. No puede dar la probabilidad de que el cambio funcione. Lo que sí puedes decir es que los datos son difíciles de explicar solo por azar, y mostrar el intervalo del tamaño del efecto.

"Que no haya diferencia significativa significa que las dos versiones son iguales"

Un valor p grande significa que los datos no bastaron para separarlas, no que sean iguales. Una prueba con 2,604 sesiones por grupo solo puede detectar con fiabilidad una diferencia de unos 1.5 puntos; lo más pequeño es invisible. Informa el intervalo: "entre -0.8 y +1.3 puntos" es un mensaje muy distinto de "sin efecto".

"Hace falta que los intervalos no se solapen para que sea significativo"

El error es el contrario. Que no se solapen implica una diferencia significativa, pero dos intervalos pueden solaparse un poco y la diferencia seguir siendo significativa, porque la prueba trabaja con el error estándar de la propia diferencia. Haz la prueba; no juzgues a ojo el solapamiento.