Nivel 5 · ¿Valor atípico o error?

Dos cosas distintas

Un valor atípico es un valor lejano al resto. Un error es un valor equivocado: no describe lo que ocurrió. Algunos valores atípicos son errores, la mayoría no, y algunos errores no son valores atípicos en absoluto (un pedido de $250 capturado como $205 se esconde en el medio). La estadística puede marcar valores atípicos; solo el conocimiento del negocio te dice cuáles son errores.

La prueba: ¿pudo haber pasado?

Los pedidos completados más bajos de Harbor & Pine:

completed["order_value"].nsmallest(4)    # -420.06, -336.01, -52.97, -19.01

Cada uno contiene una línea con cantidad negativa, como −1 o −4. Una venta completada con cantidad negativa es imposible; las notas de los datos los llaman errores de captura. Son errores, sin importar su distancia a la mediana.

Los pedidos más grandes, $11,103, $10,730 y $10,551, vienen todos de cuentas de empresa y contienen varios artículos caros. Posibles, plausibles e importantes: los clientes empresa hacen el 27% de los pedidos completados y aportan mucho más que su parte de los ingresos.

Qué hacer con cada uno

• Errores: exclúyelos (o corrígelos si el sistema de origen puede), y anota cuántos y por qué. “Se excluyeron 4 pedidos con valores negativos (errores de captura)” es una línea en las notas.
• Extremos reales: conservalos. Los ingresos, los totales y las medias necesitan cada pedido real. Para describir al cliente típico, cambia a la mediana y los percentiles en lugar de borrar la cola.
• Con dudas: revisa la fuente. Una consulta que muestre las líneas del pedido, o un mensaje al equipo dueño del sistema, vale más que una suposición.

¿Por qué no recortar o limitar?

Recortar (descartar el 5% superior e inferior) y limitar (winsorizar: reemplazar los valores por encima de un límite con el límite) son técnicas reales, usadas para evitar que unos pocos puntos dominen un modelo o un estadístico de prueba. En un reporte de ventas cambian en silencio lo que pagaron los clientes. Si usas una, nómbrala (“media recortada, se quitó el 5% superior e inferior”) para que nadie la confunda con el valor medio de pedido.

Errores comunes

• Borrar todo lo que queda fuera de las vallas. En datos sesgados eso elimina a tus clientes más grandes.
• Conservar valores imposibles porque “quitar datos es malo”. Un valor imposible no es un dato sobre tus clientes.
• Limpiar en silencio. Cada exclusión cambia un número que alguien más intentará reproducir.