Nivel 2 · Conversión por grupo y el aumento

La tasa de conversión es una media

Una sesión convirtió o no convirtió. Guárdalo como True/False y la tasa de conversión es simplemente la media de la columna, porque pandas cuenta True como 1 y False como 0:

test.groupby("arm")["converted"].mean()
# A    0.0376
# B    0.0403

El grupo B, el del banner, convirtió 105 de 2,604 sesiones; el grupo A convirtió 98 de 2,604. Vale la pena imprimir los conteos junto a las tasas (.agg(["size", "sum", "mean"])), porque 105 frente a 98 es una imagen mucho más honesta de la evidencia que 4.03% frente a 3.76%.

Aumento absoluto y relativo

Hay dos formas de decir cuánto mejor le fue a B, y la gente las mezcla constantemente:

• Aumento absoluto: rate_b - rate_a = 0.0027, o 0.27 puntos porcentuales.
• Aumento relativo: (rate_b - rate_a) / rate_a = 0.071, o 7.1%.

El número relativo suena más impresionante, y por eso termina en los titulares. Ambos son correctos; lo que importa es decir cuál quieres decir. “La conversión subió 7%”, leído por alguien que piensa en puntos, suena como si 3.8% se hubiera vuelto 10.8%, que no es lo que pasó.

Usa puntos (pp) para diferencias de tasas y porcentaje para el cambio relativo. Escríbelo como “+0.27 pp (+7.1% relativo)” y nadie podrá malinterpretarlo.

¿Siete por ciento de qué?

Siete pedidos extra en dos meses es el tamaño real de esta diferencia. Con conversiones tan poco frecuentes, un puñado de sesiones mueve mucho la tasa: si ocho de los 105 compradores de B se hubieran ido sin pedir, B sería el grupo perdedor. Esa es la pregunta que responde bien el siguiente nivel: ¿cuánto de esta diferencia podría ser ruido?

Errores comunes

• Redondear antes de dividir. Redondea 0.037634 y 0.040323 a 0.0376 y 0.0403 primero y el aumento relativo sale 0.0718 en lugar de 0.0714. Calcula con precisión completa y redondea al final.
• Dividir entre el grupo equivocado. El aumento relativo se mide contra el control (A). Dividir entre B da un número distinto que responde una pregunta distinta.
• Contar filas en vez de sesiones con conversión. count() cuenta los valores no faltantes, así que cuenta todas las sesiones. Usa sum() para las conversiones y mean() para la tasa.
• Declarar un ganador solo por el aumento. Toda prueba tiene un ganador si solo comparas dos números. El aumento es la estimación; si es real es otra pregunta.