Nivel 1 · ¿Los productos más caros venden menos?

Qué mide una correlación

El coeficiente de correlación r es un número de -1 a 1 que dice qué tan de cerca se mueven dos columnas a lo largo de una línea recta:

• cerca de 1: cuando una es alta, la otra es alta, casi sobre una recta ascendente;
• cerca de -1: cuando una es alta, la otra es baja, casi sobre una recta descendente;
• cerca de 0: no hay un patrón de línea recta.

En pandas es una sola llamada sobre dos Series de la misma longitud:

per_product["unit_price"].corr(per_product["units_sold"])   # -0.425

Entre los 120 productos de Harbor & Pine, r es -0.425: los productos más caros venden menos unidades, pero los puntos están lejos de una recta ordenada. Una regla práctica común llama débil a 0.1, moderada a 0.3 y fuerte a 0.5, pero el número solo nunca te dice la forma. Mira el gráfico.

Cuando Pearson subestima una curva

La r de Pearson (el .corr() por defecto) premia una línea recta. Los puntos del gráfico se curvan: las unidades caen en picada desde los juegos de tazones y jarrones de $11 hasta las lámparas de $200, y luego casi no cambian desde las sillas de comedor de $800 hasta el sofá de dos plazas de $1,659. La recta de mejor ajuste punteada falla en ambos extremos, así que r se ve apenas moderada.

Una correlación de rangos (la de Spearman) hace una pregunta más laxa: a medida que sube el precio, ¿bajan las unidades, sea cual sea la forma? Reemplaza cada valor por su rango (1 = el más barato) y correlaciona los rangos:

per_product["unit_price"].rank().corr(per_product["units_sold"].rank())   # -0.694

-0.694 es una relación negativa fuerte. Con SciPy instalado, .corr(method="spearman") da el mismo número; ordenar por rangos primero funciona en todas partes, incluido este navegador.

Lo que r no te dice

• No es la pendiente. r = -0.7 no significa “cada dólar extra cuesta 0.7 unidades”. El tamaño del efecto es una pregunta de regresión (nivel 3).
• No es la causa. El extremo barato es menaje de cocina, decoración y textiles, que compran muchísimos más clientes; el extremo caro son muebles y juegos de exterior. El precio está enredado con lo que es el producto, así que este gráfico no puede decir qué haría un recorte de precio a las unidades.
• No es robusta a los valores atípicos. Un producto con ventas enormes puede mover r mucho. Los rangos son mucho menos sensibles.

Errores comunes

• Reportar r sin el diagrama de dispersión. Formas muy distintas pueden compartir la misma r.
• Llamar “sin relación” a una r moderada. Aquí r = -0.43 esconde un patrón fuerte y curvo.
• Mezclar granularidades. Correlacionar el precio con las unidades por línea de pedido en lugar de por producto cuenta cientos de veces los productos populares. Decide qué es una fila (aquí: un producto), construye ambas columnas en un solo DataFrame con esa granularidad y luego correlaciona.