Nivel 4 · ¿Qué tan dispersos están nuestros pedidos?

Por qué importa la dispersión

Dos tiendas pueden tener el mismo pedido mediano y negocios muy distintos: una donde todos los pedidos rondan los $270, otra donde los pedidos van de $10 a $10,000. El centro te dice dónde están los datos; la dispersión te dice cuánto confiar en que un pedido cualquiera se parezca a él. Los pronósticos, los tamaños de muestra y las pruebas A/B (capítulo 3) dependen de ella.

Desviación estándar

La desviación estándar es, a grandes rasgos, “la distancia típica a la media”. pandas la calcula elevando al cuadrado la distancia de cada valor a la media, promediando los cuadrados (dividiendo entre n − 1) y sacando la raíz cuadrada:

v = completed["order_value"]
v.std()      # 795.75

pandas divide entre n − 1 (la desviación estándar muestral) por defecto; np.std de NumPy divide entre n a menos que pases ddof=1. Con 10,849 pedidos la diferencia es invisible, con 10 valores no lo es.

Elevar al cuadrado hace que las distancias grandes pesen mucho. Un pedido de $11,000 está a $10,500 de la media, y su cuadrado pesa más que cientos de pedidos normales. Por eso la desviación estándar del valor de pedido ($795.75) es mayor que el pedido mediano ($268.94).

Rango intercuartílico

El IQR es el ancho de la mitad central de los datos: P75 menos P25.

q1, q3 = v.quantile(0.25), v.quantile(0.75)   # 93.99, 659.87
iqr = q3 - q1                                  # 565.88

Como la mediana, es robusto: los pedidos más grandes pueden crecer sin límite y el IQR no se mueve. Con datos sesgados, reporta la mediana con el IQR (“mediana $269, la mitad central entre $94 y $660”), y la media con la desviación estándar.

La regla 1.5 × IQR

Una forma común de marcar valores inusuales son las vallas de Tukey: cualquier valor por encima de P75 + 1.5 × IQR o por debajo de P25 − 1.5 × IQR. Son los puntos más allá de los bigotes de un diagrama de caja.

fence = q3 + 1.5 * iqr          # 1508.69
(v > fence).sum()               # 927 orders

En los valores de pedido la valla inferior es negativa, así que de ese lado no se marca nada. En la parte alta se marcan 927 pedidos; el 70% proviene de cuentas de empresa, y los muebles y los conjuntos de exterior son la mayor parte de su valor. La regla encontró la cola de una distribución sesgada, que no es lo mismo que encontrar errores. El nivel 5 trata de distinguir una cosa de la otra.

Errores comunes

• Redondear demasiado pronto. Redondea los números finales, no los cuartiles con los que armas la valla.
• Leer “valor atípico” como “error”. La valla es una señal para mirar con más cuidado. Borrar el 8.5% de los pedidos, incluidos tus clientes más grandes, dejaría mal todas las cifras de ingresos.
• Usar la desviación estándar para describir datos sesgados. “Media $543 ± $796” sugiere que los pedidos negativos son normales. Ahí usa la mediana y el IQR.