Nivel 1 · ¿De dónde vienen los clientes?

Qué aspecto tiene un valor ausente

En Python normal un valor ausente es None. Dentro de una columna de pandas aparece como NaN (para números y texto cargados desde CSV) o NaT (para fechas): una celda vacía en el CSV se convierte en NaN. En ambos casos, ausente no es cero ni una cadena vacía; significa “no lo sabemos”.

Encontrarlos es el primer paso:

customers.isna().sum()

customer_id          0
...
city                14
...
referral_source    666

isna() devuelve una tabla de True/False, y .sum() cuenta los valores True por columna. notna() es lo contrario. customers["referral_source"].isna().mean() da la proporción ausente, aquí alrededor de un tercio.

Ausente es información

Pregunta por qué faltan los valores antes de decidir qué hacer. Aquí, referral_source falta porque muchos clientes se saltaron la pregunta “¿cómo nos conociste?”. Eso es natural, no un error, y es un grupo considerable, así que pertenece al informe como una categoría propia.

city falta en 14 filas, probablemente un hueco de entrada de datos. products.unit_cost falta en 9 productos cuyo coste no se registró. Cada caso pide un tratamiento distinto.

fillna: reemplazar por un valor

customers["referral_source"].fillna("unknown")
products["unit_cost"].fillna(products["unit_cost"].median())   # an estimate, use with care

fillna devuelve una Series nueva. Para cambiar el DataFrame, asígnala de nuevo a la columna: customers["referral_source"] = customers["referral_source"].fillna("unknown"). Evita fillna(..., inplace=True) sobre una columna seleccionada; es una forma de asignación encadenada que puede no cambiar el DataFrame original.

Rellena las categorías de texto con una etiqueta explícita como "unknown". Ten mucho más cuidado con los números. Rellenar costes ausentes con 0 haría que esos productos parecieran 100 % rentables, y rellenar con una media inventa datos. A menudo la opción honesta es dejar los números ausentes y excluirlos de ese cálculo concreto, indicándolo en una nota al pie.

dropna: eliminar filas

customers.dropna(subset=["city"])          # drop rows with no city
products.dropna(subset=["unit_cost"])      # only products with a known cost

Pasa siempre subset=. Sin él, dropna() elimina cualquier fila con algún valor ausente, y en customers eso tiraría un tercio de la tabla por la fuente de referencia.

Eliminar filas cambia tu población. Un desglose de referencias calculado tras dropna() describe solo a los clientes que respondieron, lo que sobrestima la cuota de cada canal.

Cómo trata pandas los NaN en los cálculos

• sum, mean, count, max y compañía omiten los NaN por defecto.
• value_counts y groupby dejan fuera las claves NaN por defecto; usa dropna=False para conservarlas.
• Las comparaciones con NaN son siempre False, incluso np.nan == np.nan. Usa isna() para comprobar.
• La aritmética con NaN da NaN: unit_price - unit_cost es NaN cuando falta el coste.

Así que el atajo para este nivel es también customers["referral_source"].value_counts(dropna=False), que cuenta NaN como una fila propia. Usar antes fillna("unknown") da a esa fila una etiqueta legible, lo cual es mejor para cualquier cosa que vayas a mostrar a otras personas.

Errores comunes

• Informar cuotas tras value_counts() sin dropna=False ni fillna.
• Llamar a dropna() sin subset y perder la mayor parte de la tabla.
• Rellenar huecos numéricos con 0 por reflejo.
• Comprobar == np.nan, que nunca es True.