Correlación, pendiente y por qué una recta no es una causa

La idea

Cada vez que dos columnas están en la misma tabla surgen tres preguntas. ¿Se mueven juntas? La correlación lo responde con un número entre -1 y +1. ¿Cuánto? Lo responde una recta de regresión, con una pendiente: por cada cambio de una unidad en x, el cambio medio en y. ¿Con qué precisión? Lo responde el R²: la parte de la variación de y que explica la recta.

El gasto mensual de marketing y los ingresos mensuales de Harbor & Pine son el ejemplo clásico. En 36 meses, el gasto y los ingresos tienen una correlación de 0.92.

Parece un caso claro de "gasta más, gana más". El resto de esta lección explica por qué debes leerlo con más cuidado.

Por qué existe

Las preguntas de negocio son sobre decisiones: ¿subimos el presupuesto, bajamos un precio, movemos el dinero de publicidad? Una decisión es una afirmación sobre lo que pasaría si cambiáramos algo. Solo tenemos datos observacionales, el registro de lo que sí pasó, y la correlación es la primera y más barata forma de buscar un patrón en ellos.

El peligro es que un patrón de lo que pasó se confunda fácilmente con el efecto de lo que podríamos hacer. Las herramientas de correlación son cortas de escribir y fáciles de leer mal, así que la habilidad está en saber exactamente qué afirma y qué no afirma cada número.

Cómo funciona por dentro

La correlación mide una línea recta

La r de Pearson mide qué tan cerca están los puntos de una recta, desde -1 (recta descendente perfecta) pasando por 0 (sin patrón lineal) hasta +1 (recta ascendente perfecta). No dice nada de qué tan empinada es esa recta, y puede estar cerca de 0 ante un patrón curvo fuerte: un producto cuyas ventas suben con el precio y luego se desploman tiene una relación clara que una medida lineal subestima. Dibuja siempre las dos columnas antes de citar r.

La recta de regresión: pendiente, ordenada y R²

Una recta de regresión y = intercept + slope * x es la recta con la menor distancia total al cuadrado respecto de los puntos. Para gasto e ingresos, la pendiente es $5.50 y la ordenada en el origen es -$40,288. El R² es r al cuadrado: 0.92 al cuadrado es 0.84. Así, el 84% de la variación mes a mes de los ingresos se alinea con el gasto, y el 16% no.

Lee la pendiente como una diferencia media entre meses, no como una palanca: los meses con $10,000 más de gasto tuvieron, de media, $55,000 más de ingresos. Esa afirmación es sobre los datos. "Si añadimos $10,000, obtendremos $55,000" es una afirmación sobre el futuro, que la recta no puede respaldar.

Confusores: cuando una tercera variable mueve a ambas

Un confusor es una variable que influye en las dos columnas que comparas. Aquí es el calendario. Marketing gasta más en noviembre y diciembre para atraer a los compradores navideños, y los clientes compran más en noviembre y diciembre de todos modos. Los cinco meses de mayor gasto son todos noviembre o diciembre. Parte del 0.92 es la temporada navideña apareciendo dos veces.

La cura es comparar lo comparable: la misma temporada, el mismo segmento, o un modelo que incluya el confusor. La correlación sola no puede decirte cuánto de la pendiente es gasto y cuánto es calendario.

Escanear muchos pares a la vez

Una matriz de correlación muestra todos los pares de columnas en una cuadrícula, una buena forma de encontrar pares que merecen una mirada más de cerca. No sirve para demostrar nada: con 20 columnas hay 190 pares, y algunos parecerán relacionados solo por azar. Trata una celda brillante como una pregunta que hay que perseguir con un gráfico y una revisión de confusores, no como un hallazgo.

Nunca sigas una recta más allá de sus datos

Una recta ajustada resume el rango en el que se ajustó. La ordenada muestra lo absurda que se vuelve fuera: con gasto cero la recta predice unos ingresos de -$40,288, algo imposible. Predecir con un presupuesto muy superior a todo lo observado corre el mismo riesgo con el signo contrario: supones que la relación sigue recta donde nunca la observaste. Eso es extrapolar.

La paradoja de Simpson: una comparación que se invierte

A veces el confusor invierte la propia respuesta. Los clientes que llegaron desde Pinterest gastan $632.14 por pedido frente a $535.22 de Google Ads. Entre los clientes business gana Google Ads, $1,172.29 frente a $1,027.16, y entre los consumer también, $374.40 frente a $350.71. Los dos segmentos favorecen a Google Ads, pero el total favorece a Pinterest.

Ninguna cuenta está mal. Pinterest simplemente tiene una proporción mayor de clientes business de alto gasto, y el promedio global los mezcla. La comparación justa mantiene fija la mezcla de segmentos.

Errores comunes

"Una correlación de 0.92 significa que el gasto causa los ingresos"

Significa que se mueven juntos. La causalidad necesita un motivo para descartar otras explicaciones: un experimento (cambiar el gasto al azar en algunas regiones), una comparación que mantenga fijo el confusor, o al menos un mecanismo creíble con el orden temporal correcto. La temporada navideña sola puede darte un 0.92.

"El R² es la probabilidad de que la recta sea correcta"

El R² es la parte de la variación de y que explica la recta ajustada. No es una probabilidad ni una nota para el modelo. Puede ser alto para una recta sin sentido causal, y bajo para una recta que describe un efecto pequeño pero real.

"Si el número global dice que A gana a B, A gana a B en todas partes"

La paradoja de Simpson es el contraejemplo. Una comparación global mezcla segmentos de distinto tamaño, así que puede apuntar al revés que cada segmento que contiene. Antes de mover presupuesto, divide por la variable que podría ser distinta entre los grupos y compara dentro de cada parte.