Nivel 4 · El resultado de las tabletas

El jardín de los caminos que se bifurcan

El resultado general es plano: +0.27 puntos, p = 0.62. A nadie le gusta un resultado plano, así que empieza el cortado: por dispositivo, por fuente de tráfico, por clientes nuevos frente a recurrentes. Cada corte es una nueva oportunidad para que el ruido parezca una señal. La agencia probó ocho cortes y encontró uno que brilla:

Corte	A	B	valor p
tablet	3.27%	5.36%	0.25
direct	6.35%	7.75%	0.43
mobile	3.35%	3.51%	0.81
desktop	4.75%	4.67%	0.94

y cuatro fuentes de tráfico más, todas con p por encima de 0.75. Las tabletas parecen un aumento del 64%. Pero este es el mejor de ocho, y su propio valor p es 0.25.

Por qué muchas miradas producen falsas victorias

Con el umbral habitual del 5%, una prueba de un banner que no hace nada igualmente muestra “significancia” el 5% de las veces. Ese es el trato que aceptas. Mira ocho veces y el trato cambia: la probabilidad de que al menos uno de ocho cortes independientes muestre p < 0.05 es

1 - 0.95 ** 8     # 0.337

cerca de una entre tres. Si cortas una prueba plana en suficientes segmentos, un “segmento ganador” está casi garantizado. Este es el problema de las comparaciones múltiples, y está detrás de muchas “conclusiones” de paneles que nunca se replican.

Segmentos pequeños, aumentos grandes

Los segmentos pequeños tienen tasas ruidosas, y las tasas ruidosas producen aumentos extremos. El corte de tabletas tiene 499 sesiones y 21 conversiones. Tres conversiones que pasaran de B a A convertirían el “aumento del 64%” en una pérdida. Los aumentos más dramáticos de cualquier tabla de segmentos casi siempre vienen de las filas más pequeñas, que es lo contrario de donde deberías poner tu confianza.

Espiar es la misma trampa en el tiempo

Revisar el resultado cada mañana y detener la prueba el primer día que p baja de 0.05 es cortar por día en vez de por dispositivo. Cada revisión diaria es otra oportunidad para que el ruido cruce la línea. En esta prueba el valor p diario nunca bajó de 0.05, pero en muchas pruebas sin efecto sí baja, pronto, durante un día o dos. Fija la duración antes del lanzamiento con un cálculo del tamaño de muestra, y lee el resultado una sola vez al final.

Errores comunes

• Reportar el mejor segmento como el hallazgo. Si muestras un resultado de segmento, muestra cuántos cortes miraste y etiquétalo como exploratorio.
• Ignorar los conteos. Los aumentos basados en 20 conversiones oscilan muchísimo. Pon las sesiones y las conversiones junto a cada tasa de la tabla.
• No mirar nunca los segmentos. Mirar está bien, y comprobar que ningún segmento salió muy perjudicado es una buena práctica. El error es tratar el corte más emocionante como una prueba.
• Parar pronto en un buen día. Decide la duración de la prueba desde el principio y respétala.