Nivel 4 · La estimación solo con email

Error aleatorio y sesgo

Una muestra puede estar equivocada de dos maneras distintas.

• El error aleatorio (error de muestreo) viene del azar: qué filas resultaron extraídas. Sube y baja de una muestra a otra, se compensa en promedio y se reduce al crecer la muestra.
• El sesgo viene de cómo se eligió la muestra. Si el método favorece ciertos tipos de filas, todas las muestras se inclinan hacia el mismo lado, y una muestra más grande solo hace que la respuesta equivocada parezca más precisa.

Las fórmulas estadísticas (errores estándar, intervalos de confianza, valores p) miden solo el error aleatorio. Ninguna puede detectar el sesgo.

Un ejemplo de la tienda

Conversión por fuente de tráfico en Harbor & Pine:

web_sessions.groupby("source")["converted"].mean().round(3)

direct     0.050
email      0.094
organic    0.018
paid       0.016
social     0.006

En total: 3.0%. El tráfico de email convierte a más de tres veces la tasa del sitio, y la razón es quiénes son: el 89% de las sesiones de email pertenecen a clientes con sesión iniciada, frente al 35% de las orgánicas y el 29% de las sociales. Estimar “la proporción de visitantes que compra” con sesiones de email mide a los clientes más fieles de la tienda y lo presenta como si fueran todos.

Dónde se esconde el sesgo

• Muestras por conveniencia: los datos más fáciles de recolectar (un canal, una región, los clientes con correo electrónico).
• Autoselección: encuestas contestadas por quienes decidieron contestar, a menudo los más contentos y los más enojados.
• Supervivencia: mirar solo clientes que siguen activos, productos que siguen a la venta o pedidos que no se cancelaron.
• Momento: una semana de diciembre dice poco sobre marzo.

Cómo obtener una muestra justa

Sácala al azar de toda la población (df.sample(n=..., random_state=...) sobre la tabla completa), o mide a todos cuando puedas. Si solo puedes llegar a un grupo, reporta el número de ese grupo con su nombre real: “los visitantes de email convierten al 9.4%” es cierto y útil.

Errores comunes

• Responder al sesgo con más datos. Más filas de la misma fuente sesgada dan la misma respuesta equivocada con un margen menor.
• Confiar en el margen de error. Un intervalo de confianza sobre una muestra sesgada es preciso sobre el número equivocado.
• Generalizar el número de un segmento. Nombra siempre el grupo que describe un número.