Nivel 6 · Desafío final: el canal que se ve peor

La paradoja de Simpson

La paradoja de Simpson es cuando una comparación apunta en un sentido en cada subgrupo y en el sentido contrario cuando se juntan los subgrupos. Suena a truco. Es algo corriente, y ocurre siempre que dos grupos contienen mezclas distintas de algo que afecta con fuerza al resultado.

En Harbor & Pine ese algo es el segmento. Los pedidos completados de clientes de empresas promedian unos $1,050; los de consumidores, unos $350. Cualquier grupo con más clientes de empresas tendrá un valor promedio de pedido mayor, sean quienes sean esos clientes.

La mezcla detrás de la brecha total

pd.crosstab(two["referral_source"], two["segment"], normalize="index")

referral_source	business	consumer
google_ads	20%	80%
pinterest	42%	58%

Pinterest trae el doble de proporción de clientes de empresas. Su promedio total sube por esa mezcla, no porque sus clientes gasten más que clientes comparables de Google Ads. Dentro de cada segmento, la comparación va en sentido contrario.

Igualar la mezcla

Para comparar con justicia, da a ambas fuentes la misma mezcla y recalcula. Toma un solo conjunto de pesos (las proporciones de segmento de todos los pedidos de ambas fuentes, 31% business y 69% consumer) y promedia las medias por segmento de cada fuente con esos pesos:

mix = two["segment"].value_counts(normalize=True)
by_segment.mul(mix, axis=0).sum()

Esto se llama estandarización. Responde: “¿cuál sería el promedio de cada fuente si ambas tuvieran los mismos clientes por segmento?”

¿Qué tan segura es la inversión?

No mucho, y decirlo es parte del trabajo. Los valores de pedido varían bastante (una desviación estándar de unos $1,150 en los pedidos de empresas), y hay solo 155 pedidos de empresas de google_ads. Las brechas dentro de cada segmento, de $145 y $24, quedan muy dentro de lo que produce el azar con grupos de este tamaño. El hallazgo sólido es el negativo: la brecha total de $97 es un efecto de mezcla, así que no es razón para mover presupuesto.

Errores comunes

• Comparar promedios agrupados de grupos con composiciones distintas. Pregunta siempre qué impulsa el resultado y luego comprueba si los grupos difieren en eso.
• Declarar ganador al resultado invertido. La inversión puede ser ruido; el efecto de mezcla es el hallazgo.
• Estandarizar con la mezcla propia de un grupo. Usa una mezcla común para ambos, o la comparación sigue inclinada.
• Dividir por cada columna hasta que algo se invierta. Elige la variable que impulsa el resultado por una razón que puedas explicar, antes de mirar.