Por qué cada muestra da una respuesta distinta

La idea

Imagina que no pudieras mirar los 10,849 pedidos completados y quisieras el valor medio de pedido a partir de una muestra aleatoria de 100. Lo calculas y obtienes, digamos, $478. Otra persona extrae sus 100 y obtiene $590. Las dos usaron el mismo método en la misma tienda y las dos tienen razón sobre su muestra. El promedio de una muestra es un número que cambia cada vez que extraes una.

Ese vaivén tiene forma. Si extrajeras la muestra miles de veces y dibujaras los promedios, verías el gráfico de abajo. Su centro es la media real, y su anchura dice cuánto se aleja de la verdad una muestra típica.

La anchura de ese gráfico es el error estándar. Es la idea más útil de este capítulo, porque convierte "mi número probablemente está cerca" en "mi número probablemente está a esta distancia".

Por qué existe

Un analista casi nunca tiene todos los datos. Una encuesta cuesta dinero, una auditoría manual lleva días, un experimento ve unos miles de visitantes de todos los que visitarán el sitio algún día. En todos los casos calculas un número a partir de una muestra y quieres decir algo de la población que hay detrás.

Sin una forma de medir el vaivén, tienes dos malas opciones: dar el número de la muestra como si fuera la verdad, o negarte a decir nada. El error estándar da una tercera: informa el número junto con cuánto podría fallar de forma plausible, y sabe de antemano qué tamaño de muestra hace falta para que ese fallo sea lo bastante pequeño como para actuar.

Cómo funciona por dentro

Mira primero la forma de una columna

La distribución que se muestrea también importa. Dibuja pages_viewed de Harbor & Pine y verás que 17,405 de las 40,000 sesiones, el 43.5%, son visitas de una sola página. La media es 3.66 páginas y la mediana es 2. El histograma muestra lo que ningún número muestra: un pico enorme en 1 y una cola larga y fina. El resumen de una muestra hereda esa forma, así que mira el histograma antes de confiar en una sola cifra.

Una muestra, un promedio, una extracción de una distribución

Cada promedio de muestra es una única extracción de la distribución muestral: la distribución de ese estadístico entre todas las muestras que podrías haber tomado. Nunca ves esa distribución, solo tu extracción. Pero la estadística permite describirla a partir de la propia muestra.

La distribución muestral de un promedio tiene una propiedad útil. Aunque los valores individuales sean muy asimétricos, como los de los pedidos, los promedios de muestras razonablemente grandes forman una campana centrada en la media real. Es el teorema central del límite, y por eso una misma fórmula sirve para tantas columnas.

La fórmula del error estándar

El error estándar de un promedio es la desviación estándar de la columna dividida entre la raíz cuadrada del tamaño de la muestra:

se = sd / sqrt(n)

Con los valores de pedido, sd = $795.75 y n = 100, así que se = $79.57. Una simulación de 1,000 muestras reales da una dispersión de promedios muy cercana. En la práctica no conoces la sd de la población, así que usas la desviación estándar de la propia muestra, algo suficiente cuando n pasa de unas pocas decenas.

Un margen aproximado del 95% es 1.96 errores estándar. El margen de $25 que pide finanzas exige 1.96 x 795.75 / sqrt(n) = 25, así que n es de unos 3,893 pedidos.

La precisión es cara

Como n está bajo una raíz cuadrada, reducir el error a la mitad cuesta cuatro veces la muestra, y ser diez veces más preciso cuesta cien veces más datos. Antes de recoger nada, decide el error con el que puedes vivir y despeja n. Después, el error ya está decidido y un informe debe indicarlo.

Error aleatorio y sesgo son problemas distintos

Todo lo anterior trata del error aleatorio, la suerte de qué pedidos cayeron en tu muestra. Baja al crecer n. El sesgo es un fallo sistemático causado por cómo se eligió la muestra, y no baja en absoluto. Si estimas la conversión del sitio solo con visitantes de email, obtienes cerca de 9.4%, mientras que la tasa real de las 40,000 sesiones es 2.98%. Un millón de visitantes de email darían la misma respuesta equivocada con un error estándar minúsculo, lo que la hace parecer fiable.

El error estándar te dice cuán precisa es una muestra aleatoria. No puede decirte si tu muestra fue aleatoria. Eso es una cuestión de diseño, que se responde antes de recoger los datos.

Errores comunes

"Una muestra más grande siempre arregla una estimación equivocada"

Una muestra mayor arregla el error aleatorio y deja el sesgo exactamente donde estaba. La estimación de conversión solo con email es 9.4% tanto si tomas 500 sesiones como 50,000. Pregunta primero cómo se eligieron las filas y solo después cuántas hay.

"El error estándar es lo mismo que la desviación estándar"

La desviación estándar describe valores sueltos: los valores de pedido se dispersan $795.75. El error estándar describe el promedio de n de ellos: $79.57 con n = 100. Responden preguntas distintas, y el segundo es siempre menor. Citar la desviación estándar como margen de error hace que una muestra parezca unas diez veces menos precisa de lo que es.

"Si los datos son asimétricos, no puedo usar promedios de muestras"

Datos asimétricos significa que los valores individuales son asimétricos. Los promedios de unas decenas o cientos de valores se parecen mucho a una campana, así que el error estándar y un margen del 95% siguen funcionando. Con colas muy pesadas o muestras diminutas, toma más datos o usa otro estadístico, pero la asimetría por sí sola no es motivo para parar.