Nivel 7 · Marca los valores atípicos, no los borres

Un valor atípico es un valor lejos del resto. Algunos son errores (una cantidad de -16), otros son reales e importantes (un cliente empresarial amueblando una oficina). Borrar ambos tipos oculta información, así que la práctica estándar es marcar primero y decidir después.

Marcas basadas en reglas

Algunos valores son imposibles por definición. Una cantidad vendida de cero o menos es un error de captura. En este conjunto de datos 24 líneas de pedido tienen una: 8 ceros y 16 negativos, de -1 a -16. Una marca por regla es una condición simple:

CASE WHEN quantity <= 0 THEN 1 ELSE 0 END AS bad_line

Deja esas líneas fuera de los ingresos, pero cuéntalas. 19 pedidos completados contienen una.

Marcas estadísticas: el límite IQR

Para valores posibles pero inusuales, compáralos con la distribución. El rango intercuartílico (IQR) es Q3 menos Q1, la dispersión de la mitad central de los datos. La regla de Tukey marca todo lo que está por encima de Q3 + 1.5 × IQR (y por debajo de Q1 − 1.5 × IQR, que para los valores de pedido queda por debajo de cero).

SELECT
  quantile_cont(order_value, 0.25) AS q1,
  quantile_cont(order_value, 0.75) AS q3
FROM order_values;

Para los 10,849 pedidos completados, Q1 es $93.99 y Q3 es $659.94, así que el límite queda en unos $1,508.87. El pedido mediano es $268.96 y el mayor es $11,103.27. quantile_cont interpola entre valores; quantile_disc devuelve un valor real de los datos.

Leer el resultado

926 pedidos completados, cerca del 8.5%, están por encima del límite. Es mucho para una regla de “valores atípicos”, y te dice algo: los valores de pedido están muy sesgados a la derecha, con muchos pedidos pequeños y una cola larga de grandes compras de muebles y de empresas. La regla del IQR se diseñó para datos más o menos simétricos. Esos pedidos son ingresos reales, que es exactamente por lo que los marcas en lugar de borrarlos. Finanzas podría pronosticarlos por separado o modelar el logaritmo del valor del pedido.

Errores comunes

• Borrar en lugar de marcar. No puedes deshacer un WHERE del que nunca informaste a nadie.
• Recalcular el límite tras quitar los atípicos. El límite se mueve cada vez; calcúlalo una vez sobre todos los datos.
• Un límite por grupo por accidente. Decide si el umbral es global o por canal, y haz que la consulta lo diga.
• Media y desviación estándar con datos sesgados. Los pedidos grandes inflan ambas, así que una regla de “3 sigmas” se pierde lo que debería atrapar. Los cuartiles resisten eso.

En SQL Server

No hay quantile_cont. PERCENTILE_CONT es allí una función de ventana, así que repite el valor en cada fila:

SELECT DISTINCT
  PERCENTILE_CONT(0.25) WITHIN GROUP (ORDER BY order_value) OVER () AS q1,
  PERCENTILE_CONT(0.75) WITHIN GROUP (ORDER BY order_value) OVER () AS q3
FROM order_values;

Postgres y Snowflake usan percentile_cont(0.75) WITHIN GROUP (ORDER BY order_value) como agregado.