Nivel 5 · Encuentra registros de clientes duplicados

Los registros duplicados son uno de los problemas de calidad de datos más comunes que encuentra un analista. Los clientes se registran dos veces, un trabajo de sincronización se ejecuta dos veces, una importación del CRM repite un lote. Cada duplicado infla el “conteo de clientes” y divide el historial de una persona entre dos ID, lo que deprime el valor de vida y las tasas de recompra.

Paso 1: elige la clave

¿Qué hace que dos filas sean “el mismo cliente”? Aquí es el correo, pero solo después de normalizarlo. 'Owen.Hudson@iCloud.com ' y 'owen.hudson@icloud.com' son cadenas distintas y la misma persona. Así que la clave es LOWER(TRIM(email)). Elegir la clave es una decisión de negocio; anota lo que elegiste.

Paso 2: agrupa y conserva los grupos de más de uno

SELECT
  LOWER(TRIM(email)) AS email,
  COUNT(*) AS records,
  MIN(customer_id) AS first_customer_id,
  MAX(customer_id) AS last_customer_id
FROM customers
GROUP BY LOWER(TRIM(email))
HAVING COUNT(*) > 1;

HAVING COUNT(*) > 1 es el buscador clásico de duplicados. MIN(customer_id) da el registro superviviente para una fusión, suponiendo que los ID aumentan con el tiempo, algo que Tyler puede confirmar con signup_date.

Paso 3: mira las filas completas

Para inspeccionar cada fila duplicada, no solo una línea por correo, une de vuelta con la tabla:

WITH dupes AS (
  SELECT LOWER(TRIM(email)) AS email_key
  FROM customers
  GROUP BY 1
  HAVING COUNT(*) > 1
)
SELECT c.*
FROM customers AS c
JOIN dupes AS d ON d.email_key = LOWER(TRIM(c.email))
ORDER BY d.email_key, c.customer_id;

Contar personas únicas

Hasta que se fusionen los registros, reporta los clientes como COUNT(DISTINCT LOWER(TRIM(email))) en lugar de COUNT(*), y explica por qué. Harbor & Pine tiene 2,018 filas de clientes pero 2,000 personas distintas. Una diferencia pequeña aquí, pero en un CRM real los duplicados pueden llegar al 5-10 % de las filas.

Conservar una fila por grupo

Encontrar duplicados es la mitad del trabajo. Para elegir una fila por clave con todas sus columnas, la herramienta estándar es ROW_NUMBER(), que se cubre en el próximo capítulo:

QUALIFY ROW_NUMBER() OVER (PARTITION BY LOWER(TRIM(email)) ORDER BY customer_id) = 1

QUALIFY funciona en DuckDB, BigQuery y Snowflake; en Postgres y MySQL envuelves la función de ventana en un CTE y filtras en la consulta externa.

Errores comunes

• Agrupar por el correo en bruto y concluir “no hay duplicados”.
• Usar SELECT DISTINCT *, que solo elimina las filas idénticas en todas las columnas. Los clientes duplicados suelen diferir en ID y fecha de registro, así que DISTINCT no elimina nada.
• Borrar duplicados sin mover sus pedidos al ID superviviente. Es una decisión de ingeniería; el trabajo de un analista es encontrar y dimensionar el problema.

En SQL Server

El patrón GROUP BY … HAVING COUNT(*) > 1 es idéntico. Con la intercalación habitual que no distingue mayúsculas, GROUP BY email ya fusiona Anna@x.com y anna@x.com, pero no ' anna@x.com', así que conserva el TRIM (SQL Server 2017+, o LTRIM(RTRIM(...))).