Nivel 2 · Corrige los códigos de estado

Por qué el texto se ensucia

El texto introducido por personas, importado de varios sistemas o escrito en un campo libre se desvía: 'CA', 'ca', ' CA', 'CA '. Para un ordenador son cuatro valores distintos, así que un groupby cuenta cuatro estados. Mira lo que tienes antes de limpiar:

customers["state"].nunique()          # far more than the number of real states
customers["state"].value_counts().tail(20)   # rare values are often the messy ones

El accesor .str

Los métodos de cadena para columnas enteras viven bajo .str. Funcionan sobre todos los valores a la vez y dejan pasar los NaN sin tocarlos:

customers["state"].str.strip()        # remove spaces at both ends
customers["state"].str.upper()        # 'ca' -> 'CA'
customers["city"].str.strip().str.title()   # '  dallas ' -> 'Dallas'
customers["email"].str.strip().str.lower()

Otros útiles: .str.replace("St.", "Saint", regex=False), .str.len(), .str.split("@").str[1] (el dominio del email), .str.contains(...) y .str.zfill(5) para códigos postales que perdieron sus ceros iniciales.

Elige una forma canónica

Decide qué aspecto tiene “limpio” para cada columna y aplícalo de forma consistente:

columna	forma canónica	código
state	2 letras mayúsculas	.str.strip().str.upper()
city	primera letra de cada palabra en mayúscula	.str.strip().str.title()
email	minúsculas	.str.strip().str.lower()

title() tiene rarezas: convertiría “McAllen” en “Mcallen”. Para un puñado de excepciones, sigue con .replace({"Mcallen": "McAllen"}).

Reemplaza la columna y luego agrupa

cleaned = customers.assign(state=customers["state"].str.strip().str.upper())
cleaned.groupby("state", as_index=False).agg(n_customers=("customer_id", "count"))

assign con el nombre de una columna existente reemplaza esa columna en el DataFrame nuevo. El customers original conserva sus valores desordenados, lo cual es útil: siempre puedes comparar los valores en bruto y los limpios para comprobar que tu limpieza hizo lo que esperabas:

changed = customers["state"] != cleaned["state"]
customers.loc[changed, "state"].value_counts()

Ver exactamente qué valores en bruto cambiaron, y en qué se convirtieron, es la mejor prueba de un paso de limpieza.

Comprueba después de limpiar

cleaned["state"].nunique()            # now a sensible number
cleaned["state"].str.len().value_counts()   # every code should have length 2

Esa segunda comprobación detecta valores que la limpieza no arregló, como un nombre de estado completo o una errata.

Limpia una vez, pronto

En proyectos reales, la limpieza ocurre en un solo lugar, justo después de cargar, de modo que cada paso posterior usa los mismos valores limpios. Hacerlo dentro de informes individuales lleva a dos informes que discrepan sobre cuántos clientes viven en California.

Errores comunes

• Llamar a customers["state"].strip() sin .str: Series no tiene método strip.
• Limpiar solo las mayúsculas o solo los espacios, y seguir contando ' CA' aparte.
• Olvidar que los métodos .str devuelven una Series nueva; la columna solo cambia cuando la asignas.