Nivel 2 · Conserva un registro por persona

El capítulo 7 encontró clientes duplicados con GROUP BY ... HAVING COUNT(*) > 1. Eso te dice qué emails se repiten, pero un group-by colapsa las filas, así que no puedes conservar fácilmente un registro entero y descartar el resto. ROW_NUMBER sí puede.

El patrón de deduplicación

Numera las filas dentro de cada grupo de duplicados, en el orden que decide al ganador, y conserva el número 1:

WITH ranked AS (
  SELECT
    *,
    ROW_NUMBER() OVER (
      PARTITION BY LOWER(TRIM(email))      -- what makes two rows the same person
      ORDER BY signup_date, customer_id    -- who wins: earliest, then lowest id
    ) AS rn
  FROM customers
)
SELECT * FROM ranked WHERE rn = 1;

Esa ventana esconde tres decisiones, y cada una debería ser deliberada:

• La clave en PARTITION BY. Aquí, un email limpio. Con estos datos la columna email en bruto tiene 2,012 valores distintos, la limpia 2,000.
• El ganador en ORDER BY. El alta más temprana es una regla común. Otras son “el registro con más pedidos” o “el actualizado más recientemente”.
• Un desempate. customer_id hace que el resultado sea el mismo en cada ejecución.

La consulta de arriba devuelve 2,000 filas de 2,018: una por persona.

Conservar y mapear

Borrar duplicados rara vez basta. Los pedidos, tickets y correos pueden apuntar a los ids descartados, así que el equipo del CRM necesita un mapa de cada id descartado al id que sobrevive. Une las filas clasificadas consigo mismas, los duplicados con el ganador de la misma clave. Por ejemplo, el cliente 2014 (BJONES76@GMAIL.COM) se asigna al cliente 1698 (bjones76@gmail.com). En este conjunto de datos ninguno de los 18 duplicados tiene todavía un pedido, así que la fusión no pierde nada.

Errores comunes

• Particionar por la columna en bruto. El starter hace esto y encuentra solo 6 duplicados, las copias exactas. Los otros 12 difieren por mayúsculas o por un espacio inicial.
• Usar RANK en lugar de ROW_NUMBER. Dos registros con la misma fecha de alta recibirían ambos el puesto 1 y ambos sobrevivirían.
• SELECT DISTINCT. Solo elimina filas idénticas en todas las columnas. Las personas duplicadas casi siempre difieren en algo (el id, al menos).
• Filtrar rn en el mismo SELECT. Un valor de ventana no puede ir en el WHERE de esa consulta. Calcúlalo en una CTE y filtra por fuera. DuckDB, Snowflake y BigQuery también aceptan QUALIFY rn = 1.

En SQL Server

El patrón es idéntico, y es un favorito de los cursos y entrevistas de T-SQL. SQL Server no tiene QUALIFY, así que la CTE es obligatoria. Una CTE puede incluso borrar los duplicados en el sitio:

WITH ranked AS (
  SELECT *, ROW_NUMBER() OVER (PARTITION BY LOWER(TRIM(email)) ORDER BY signup_date, customer_id) AS rn
  FROM customers
)
DELETE FROM ranked WHERE rn > 1;