Proyecto de portafolio · Python, Statistics · Intermediate · 8 a 12 horas
Un equipo de producto ejecutó una prueba y quiere saber si lanzar el cambio. Tú revisas los datos, estimas la diferencia con un intervalo de confianza y escribes una decisión sobre la que un gerente de producto pueda actuar. El informe importa tanto como la prueba: demuestra que sabes explicar la incertidumbre con palabras sencillas.
¿La nueva página de aterrizaje convirtió mejor que la anterior, lo suficiente como para lanzarla?
Convertida en un objetivo SMART, para que sepas cuándo terminaste y un evaluador vea que la acotaste como analista:
Datos públicos, gratis para descargar. Elige uno, lee su licencia en la página de origen y enlaza esa página en tu README en vez de subir los archivos.
Kaggle
Unas 290,000 filas: usuario, marca de tiempo, grupo, página de aterrizaje y si el usuario convirtió. Un buen primer archivo de prueba porque tiene problemas de datos reales que encontrar.
Algunos usuarios aparecen más de una vez, y en algunas filas un usuario de control está en la página nueva o al revés. Encuentra y trata ambas cosas antes de probar nada.
Kaggle
Unos 588,000 usuarios a los que se mostró un anuncio o un mensaje de servicio público, con un indicador de conversión y el momento en que vieron más anuncios.
Los dos grupos tienen tamaños muy distintos. Explica por qué eso es o no es un problema para este diseño.
Kaggle
Unos 90,000 jugadores de un juego de puzles para móvil, con la primera barrera en el nivel 30 o en el nivel 40, e indicadores de retención a 1 día y a 7 días.
La métrica es la retención, no la conversión. Mira la columna de rondas jugadas antes de resumirla; tiene un valor extremo.
Cada paso enlaza a niveles de AnalystQuest que enseñan la habilidad con los datos de la tienda Harbor & Pine, para que la practiques antes de aplicarla al conjunto de datos real.
Indica la hipótesis, la única métrica principal, una métrica de control si el archivo la tiene, el efecto mínimo que vale la pena lanzar y la regla de decisión. Escribir esto primero es lo que evita que elijas la métrica que casualmente se ve bien.
Busca usuarios duplicados, filas donde el grupo y la experiencia no coinciden y huecos en las fechas. Después comprueba la asignación: si la prueba debía ser 50/50, verifica si los tamaños de los grupos son coherentes con eso. Un desajuste en la proporción de muestra puede hacer que todo el resultado no sea fiable.
Calcula la tasa de conversión por grupo, la diferencia absoluta en puntos porcentuales y el efecto relativo. Ejecuta una prueba z de dos proporciones e informa el intervalo de confianza del 95% de la diferencia, no solo el valor p.
Un resultado que no es significativo no es prueba de que no haya efecto. Di de qué tamaño habría podido detectar la prueba un efecto.
Un gráfico: la tasa de conversión de cada grupo con su intervalo de confianza como barras de error, con el eje etiquetado en porcentaje. Si miras segmentos (dispositivo, país, fecha), etiquétalos como exploratorios; con suficientes cortes, alguno parecerá significativo por azar.
Empieza con la decisión y el número que la respalda, después el intervalo con palabras sencillas, las comprobaciones de datos que hiciste y las salvedades. Cierra con un siguiente paso: lanzar, no lanzar, o repetir con un tamaño de muestra capaz de detectar el efecto que te importa.
El mismo proyecto, presentado de tres maneras. Los números entre corchetes son marcadores: reemplázalos por tus propios resultados.
GitHub
CV
Empieza con un verbo, incluye un número y nombra la herramienta. Cada número debe ser uno que puedas explicar en una entrevista.
Cópiala en tu README o en un documento y reemplaza cada corchete. Limita el resumen ejecutivo a lo que leería un gerente ocupado.
# [Título del proyecto]: informe de prueba A/B
## Resumen ejecutivo
Decisión: [lanzar / no lanzar / repetir]. [El tratamiento] convirtió al [x]% frente al [y]% del control, una diferencia de [d] puntos (IC del 95% de [a] a [b]).
## Objetivo
¿[La nueva página de aterrizaje] aumentó [la conversión] al menos [0.5] puntos?
Regla de decisión, fijada antes del análisis: [..].
## Datos y límites
Fuente: [conjunto de datos, enlace]. Usuarios: [n] control, [n] tratamiento. Periodo: [fechas].
Eliminado: [n] usuarios duplicados, [n] filas donde el grupo y la página no coincidían.
Comprobación de la asignación: [esperado 50/50; observado [..]; p = [..]].
Límites: [p. ej. prueba corta, sin datos de ingresos, posible efecto de novedad].
## Método
Prueba z de dos proporciones sobre [la métrica]; intervalo de confianza del 95% de la diferencia.
Segmentos revisados solo como exploratorios: [..].
## Hallazgos
1. [Tasas, diferencia e intervalo con palabras sencillas.]
2. [Qué pudo y qué no pudo detectar la prueba.]
3. [Cualquier patrón exploratorio, etiquetado como tal.]
## Recomendaciones
[La decisión y la razón, en dos frases.]
## Próximos pasos
[p. ej. una repetición dimensionada para el efecto que importa, o una métrica de control que añadir.]Unas 8 a 12 horas para una primera versión, repartidas en una a tres semanas de tardes.
Excel, Power BI · 10 a 13 horas
Una página que un director de ventas puede leer en un minuto: ingresos, pedidos, valor promedio del pedido y dónde se movieron.
SQL, pandas · 12 a 16 horas
¿Vuelven a comprar los clientes primerizos? Cohortes mensuales y una cuadrícula de retención, construidas en SQL y verificadas en pandas.
SQL, Power BI, Excel · 14 a 20 horas
El informe que casi todo analista tiene a su cargo: SQL para los números, Power BI o Excel para la página, actualizado cada mes.