Por qué un solo número nunca describe una columna

La idea

Una columna de 10,000 números es demasiado para leerla, así que la resumimos. Cada resumen responde una pregunta. ¿Dónde está el centro? Lo responden la media o la mediana. ¿Cuánta dispersión hay? Lo responden la desviación estándar o el IQR. ¿Qué queda lejos del resto? Lo responden las reglas de atípicos. Ninguna de estas preguntas tiene un único número correcto, y las respuestas cambian cuando la columna es asimétrica.

Los valores de los pedidos de Harbor & Pine son asimétricos. La mayoría de los pedidos son pequeños y unos pocos son enormes. La media y la mediana, que parecen dos formas de decir "promedio", caen en $543.30 y $268.94.

Quien cita solo una de las dos está tomando una decisión, lo sepa o no.

Por qué existe

Imagina informar a la directora general de un "valor medio de pedido de $543". Ella entiende: un cliente suele gastar unos $543. Pero la mitad de los pedidos son de menos de $269, y solo 3 de cada 10 llegan a $543. El número es correcto, y la frase que ella construye con él es falsa. Un cliente que gasta $543 gasta más que la mayoría de la lista.

Las estadísticas de resumen existen para que el lector pueda tener una columna en la cabeza. El oficio está en elegir el resumen cuyo significado coincide con la frase que quieres que el lector se lleve. "Ingresos totales divididos por el número de pedidos" es una buena definición de la media y el número correcto para prever ingresos. "Cuánto gasta un cliente típico" es una pregunta sobre el centro del montón, que es la mediana.

Cómo funciona por dentro

La media usa cada valor, la mediana solo el orden

La media suma todos los valores y divide entre cuántos son, así que un solo pedido de $11,103.27 la mueve tanto como miles de pedidos pequeños. La mediana ordena los valores y toma el del medio, así que le importa la posición y no el tamaño de los extremos. Haz diez veces más grande el pedido mayor y la media sube unos $9, mientras que la mediana no se mueve en absoluto. Parece poco hasta que la cola tiene unos cientos de pedidos así.

Cuando una columna tiene asimetría a la derecha, con una cola larga de valores grandes, la media queda por encima de la mediana. El dinero, los tiempos de espera, las páginas vistas y los tamaños de archivo son así. Cuando las dos coinciden, la columna es más o menos simétrica y sirve cualquiera.

Los percentiles leen la columna por posición

El percentil p es el valor por debajo del cual cae el p% de las filas. La mediana es el 50. Q1 y Q3 son el 25 y el 75. Los percentiles sirven para fijar umbrales: si el percentil 90 de los pedidos es $1,345.77, una oferta de envío gratis fijada ahí llega al décimo superior y a nadie más. Además son robustos: pasar el máximo de $11,103.27 a un millón no cambia en absoluto el percentil 90.

Dispersión: desviación estándar frente a IQR

La desviación estándar es la distancia típica de un valor a la media. Los valores de pedido tienen una desviación estándar de $795.75, mayor que la propia media, una señal de fuerte asimetría. Como eleva las distancias al cuadrado, los pedidos más grandes la dominan, igual que dominan la media. El IQR (Q3 menos Q1, aquí $565.88) mide la dispersión de la mitad central e ignora ambas colas. Usa la desviación estándar con la media y el IQR con la mediana, y no mezcles las parejas.

Para comparar la estabilidad de dos grupos con promedios distintos, divide la desviación estándar entre la media. Ese cociente, el coeficiente de variación, es 1.51 en los pedidos web y 1.39 en los de la app: los valores de los pedidos web son más erráticos en relación con lo que vale un pedido web.

Un atípico es una pregunta, no una respuesta

Una regla de atípicos solo encuentra valores lejos del centro. No puede decirte por qué. Detrás de un valor marcado puede haber tres cosas: un hecho raro pero legítimo (una empresa que compra al por mayor), un error de datos (una cantidad de 900 escrita en lugar de 9) o una población distinta (una cuenta mayorista mezclada con consumidores). El primero se queda. El segundo se corrige o se elimina. El tercero se analiza aparte. Mira las filas marcadas, decide y deja escrita la decisión.

Errores comunes

"El promedio es el valor típico"

La media es el punto de equilibrio de la columna, no su valor más frecuente ni central. Con datos asimétricos puede no describir casi ninguna fila real. Informa la mediana para "típico", la media para "total dividido entre la cuenta", y di cuál usaste.

"La desviación estándar dice cuánto se alejan los valores de la media, así que una mayor significa más atípicos"

La desviación estándar crece con la escala general de los datos y con cada valor asimétrico. Dos columnas pueden tener el mismo número de atípicos y desviaciones estándar muy distintas solo porque una está en dólares y otra en centavos. Compara la dispersión entre grupos con el coeficiente de variación, o mira el IQR y el gráfico.

"Todo lo que pase 1.5 veces el IQR es un error y hay que eliminarlo"

La regla es una señal para inspeccionar, no una orden de borrado. Aquí marca 927 pedidos completados, y el mayor de ellos es una compra real de $11,103.27. Borrarlo cambia los ingresos totales y la media por la razón equivocada. Elimina un valor solo cuando puedas demostrar que es erróneo.