Nivel 5 · Clientes por estado, ya limpios

El texto escrito por personas o sincronizado entre sistemas es desordenado. En la tabla de clientes de Harbor & Pine, la columna state contiene valores como 'CA', ' CA' y 'ca'. Para la base de datos son tres cadenas distintas, así que GROUP BY state produce tres filas para California y todos los conteos quedan demasiado bajos.

Las funciones de limpieza

función	hace	ejemplo
TRIM(s)	quita los espacios iniciales y finales	' CA ' → 'CA'
LTRIM(s), RTRIM(s)	quita solo de un lado
UPPER(s)	convierte a mayúsculas	'ca' → 'CA'
LOWER(s)	convierte a minúsculas	'Owen@ICloud.com' → 'owen@icloud.com'

Existen con los mismos nombres en DuckDB, Postgres, MySQL y BigQuery. Anídalas para aplicar ambas:

SELECT UPPER(TRIM(state)) AS state, COUNT(*) AS customers
FROM customers
GROUP BY UPPER(TRIM(state));

Agrupa por la expresión limpia, no por la columna en bruto. Agrupar por state y seleccionar UPPER(TRIM(state)) seguiría dando grupos separados que casualmente muestran la misma etiqueta, lo que es aún más confuso.

Fíjate en que el alias reutiliza el nombre state. En GROUP BY, Postgres resuelve un state a secas como la columna original, no como el alias, así que escribir la expresión completa (o GROUP BY 1) es la opción sin ambigüedad.

Elige una forma canónica

Decide un estándar por columna y aplícalo de forma consistente: mayúsculas para los códigos de estado, minúsculas para los correos y, para los nombres de ciudad, algo como INITCAP(TRIM(city)) en Postgres (DuckDB no tiene INITCAP; comparar con LOWER(TRIM(city)) y mostrar cualquier ortografía es el truco habitual).

Encuentra primero el desorden

Antes de limpiar, mira:

SELECT state, COUNT(*)
FROM customers
GROUP BY state
ORDER BY state;

Ordenar pone las variantes una junto a otra. LENGTH(state) <> 2 encuentra valores con espacios sobrantes. Los datos reales también pueden esconder espacios de no separación o tabuladores que TRIM no quita por defecto; el TRIM(s, chars) de DuckDB y Postgres y REGEXP_REPLACE(s, '\s+', '', 'g') se ocupan de esos.

Limpia en la consulta, corrige en el origen

Limpiar dentro de las consultas funciona, pero todo analista tiene que acordarse de hacerlo. Si una columna es sistemáticamente desordenada, plantéaselo al equipo de ingeniería de datos para que se corrija una vez, aguas arriba, en el pipeline o en un modelo limpio. Menciona los conteos: “45 clientes tienen un estado con espacios sobrantes o minúsculas” es un ticket concreto sobre el que alguien puede actuar.

Errores comunes

• Limpiar solo en SELECT y no en GROUP BY ni en las condiciones de JOIN. Un join por c.state = r.state descarta en silencio las filas desordenadas; une por las expresiones limpias en su lugar.
• Usar comparaciones LIKE sin pasar a minúsculas, del capítulo 2.
• Olvidar que TRIM(NULL) es NULL. Limpiar no rellena valores que faltan; eso es COALESCE, que usa el Desafío final.

En SQL Server

TRIM existe desde SQL Server 2017; el código más antiguo usa LTRIM(RTRIM(state)). LEN('NY ') es 2 porque LEN ignora los espacios finales (usa DATALENGTH para verlos). Las intercalaciones por defecto no distinguen mayúsculas, así que 'ca' = 'CA' es verdadero y GROUP BY las fusiona, pero los espacios iniciales siguen dividiendo los grupos.