Nivel 2 · ¿Qué tan segura es la tasa móvil?

Una tasa es una estimación

Las 21,549 sesiones móviles son una muestra de todas las visitas móviles que tendrá Harbor & Pine. Si repitieras los mismos tres años, no obtendrías exactamente 2.41% otra vez: unos pocos pedidos caerían de otra manera. Un intervalo de confianza dice qué tan lejos de la tasa verdadera podría estar plausiblemente la estimación, dada la cantidad de datos que tienes.

El error estándar de una tasa

Para una proporción p medida en n visitas independientes, la dispersión de la estimación es su error estándar:

se = math.sqrt(p * (1 - p) / n)

Dos cosas lo hacen pequeño: muchos datos (n está bajo una raíz cuadrada, así que 4 veces más sesiones reducen el error a la mitad) y tasas lejos del 50%. Para móvil, p = 0.0241 y n = 21,549, así que se ≈ 0.00105, aproximadamente una décima de punto porcentual.

El intervalo del 95%

Las estimaciones de una tasa en muestras grandes siguen una curva normal, y el 95% de una curva normal queda a menos de 1.96 errores estándar de su centro. Entonces:

low, high = p - 1.96 * se, p + 1.96 * se    # 0.0221, 0.0262

Móvil convierte al 2.41%, IC 95% de 2.21% a 2.62%. Compáralo con tablet: una tasa parecida, 2.81%, pero solo 3,910 sesiones, así que su intervalo es dos veces y media más ancho, de 2.30% a 3.33%. El mismo tipo de número, mucha menos certeza. Las barras del gráfico parecen igual de sólidas; los intervalos muestran que no lo son.

Qué significa el intervalo

La lectura honesta: si repitieras toda la recolección de datos muchas veces y construyeras un intervalo cada vez, el 95% de esos intervalos contendría la tasa verdadera. En la práctica los analistas dicen “los datos son compatibles con una tasa móvil entre 2.2% y 2.6%”, y eso está bien. Lo que no significa es que el 95% de los visitantes móviles conviertan dentro de ese rango, ni que un mes futuro vaya a caer dentro de él. Un solo mes tiene muchas menos sesiones y un intervalo propio más ancho.

Errores comunes

• n equivocada. n es el número de sesiones, no el número de conversiones.
• Muestras diminutas. La aproximación normal necesita suficientes éxitos y fracasos, más o menos al menos 10 de cada uno. Con 3 conversiones en 40 sesiones, usa un intervalo exacto o de Wilson.
• El traslape como prueba. Dos intervalos que se traslapan un poco aún pueden diferir de forma significativa. Para comparar dos tasas, prueba la diferencia directamente (nivel 4).
• Tratar las sesiones como independientes cuando no lo son. Un cliente con diez visitas no son diez lanzamientos de moneda independientes. Por eso las pruebas reales suelen contar usuarios, no sesiones.