Nivel 3 · Encuentra clientes duplicados

Los duplicados exactos son la parte fácil

duplicated() marca las filas que repiten una fila anterior:

customers.duplicated().sum()                    # whole-row duplicates
customers.duplicated(subset=["email"]).sum()    # same email, any other columns

Los duplicados de fila completa son raros en datos reales, porque un segundo registro recibe un ID nuevo y una fecha nueva. Lo que necesitas es una clave de negocio: la columna (o columnas) que debería identificar a una persona de forma única. Para los clientes, es el email.

Normaliza primero la clave

Seis de los duplicados de Harbor & Pine comparten el email exactamente. Doce más difieren solo en mayúsculas o en un espacio inicial, ' owen.hudson@icloud.com' frente a 'owen.hudson@icloud.com'. Una comparación en bruto los pasa por alto, así que construye una clave normalizada:

email_key = customers["email"].str.strip().str.lower()
email_key.duplicated().sum()

Compáralo con customers["email"].duplicated().sum() para ver cuántos duplicados descubre la normalización. Esa diferencia es el objetivo de este nivel.

keep: ¿qué copia cuenta como el original?

duplicated acepta keep=:

• keep="first" (por defecto): la primera aparición es el original; las posteriores son True.
• keep="last": la última aparición es el original.
• keep=False: cada fila de un grupo duplicado es True. Úsalo para mirar todas las copias una al lado de otra.

dupes = customers[email_key.duplicated(keep=False)]
dupes.assign(email_key=email_key).sort_values(["email_key", "customer_id"])

Revisar los grupos a ojo antes de eliminar nada es una buena práctica. Aquí verías el mismo nombre y ciudad, una fecha de registro posterior y un ID mayor en el segundo registro.

drop_duplicates

Para eliminar las repeticiones, conserva una fila por clave. Ordena primero para que la fila que quieres conservar vaya la primera:

deduped = (
    customers.assign(email_key=email_key)
    .sort_values("customer_id")
    .drop_duplicates(subset="email_key", keep="first")
)

Conservar el ID más bajo conserva la cuenta original, que es la que tiene el historial de pedidos. Decide siempre a propósito qué copia sobrevive. “La que viniera primero en el archivo” no es una regla.

Duplicados y joins

Las claves duplicadas causan el fan-out que viste en el capítulo de merge: un pedido emparejado con dos copias de su cliente se cuenta dos veces. Si unes pedidos con clientes por customer_id, estos duplicados son inofensivos, porque cada uno tiene su propio ID. Si emparejas por email (por ejemplo, para unir una lista de newsletter), se cuentan doble. Elimina duplicados antes de unir por una clave de negocio.

No borres, marca

En producción, suele ser mejor añadir una marca (is_duplicate) o un mapeo del ID duplicado al ID original que eliminar filas. Otras tablas pueden referenciar los IDs duplicados, y finanzas puede necesitar saber que existieron.

Errores comunes

• Comprobar duplicados en el email en bruto y concluir que solo hay seis.
• Usar keep=False y luego eliminar, lo que borra también los originales.
• Eliminar duplicados por todas las columnas, lo que no encuentra nada porque los IDs difieren.

Nota de entrevista

“¿Cómo encontrarías clientes duplicados?” es un clásico. Una buena respuesta nombra la clave de negocio, la normaliza, inspecciona los grupos con keep=False y explica qué registro sobrevive.