别再野蛮操作了！用Python优雅地搞定数据清洗
在大数据圈子里，流传着这样一句话：“80%的时间花在数据清洗，20%的时间花在抱怨数据太脏。”这话不夸张，干过数据分析、建模、挖掘的人都知道，数据清洗才是真正考验耐心和技术的地方。
今天，咱们就用接地气的方式，聊聊怎么用Python，优雅又高效地搞定数据清洗，而不是一边ctrl+c/v，一边心态爆炸。
一、为啥数据清洗这么重要？
如果把数据比作食材，数据清洗就是洗菜、择菜、去泥巴的过程。数据脏了，模型再牛，分析再花哨，出来的结果也没法吃。
常见的数据脏点包括：
缺失值
异常值
重复数据
格式不统一
文本脏乱（奇葩符号、乱码）
类型混乱（数字里藏着字符串）
现实里，数据的“脏”程度，远比你想象得惨烈。
二、Python清洗数据，主力军：pandas + numpy
要搞数据清洗，最核心的武器是：
pandas：开箱即用的神器，适合表格型数据。
numpy：打底工具，数组操作快准狠。
顺便一提，千万别死磕for循环搞清洗，那是体力活，要用向量化操作才能快准狠。
先来个开场白：
import pandas as pd
import numpy as np
# 造一份脏数据
data = {
'name': ['Alice', 'Bob', np.nan, 'David', 'Eve', 'Alice '],
'age': [25, np.nan, 35, 40, 22, 25],
'salary': ['50000', '60000', 'seven thousand', '80000', '90000', '50000'],
'date_joined': ['2021-01-01', '2021-02-15', 'unknown', '2021-03-10', '2021-04-01', '2021-01-01']
}
df = pd.DataFrame(data)
print(df)
生成的数据大概长这样：
name
age
salary
date_joined
Alice
25.0
50000
2021-01-01
Bob
NaN
60000
2021-02-15
NaN
35.0
seven thousand
unknown
David
40.0
80000
2021-03-10
Eve
22.0
90000
2021-04-01
Alice
25.0
50000
2021-01-01
一眼望去，问题一堆：
缺失名字、年龄
工资字段混入了文本
入职日期有个unknown
Alice结尾带空格，可能导致重复
不清洗，分析个锤子。
三、实战拆招：逐一搞定这些脏东西
1. 缺失值处理（nan）
办法很多，常见的有：
删除
填补（均值、中位数、指定值）
示例：
# 删除有缺失的行
df = df.dropna(subset=['name', 'age'])
# 对缺失的'age'填充中位数（如果不想丢数据）
# median_age = df['age'].median()
# df['age'] = df['age'].fillna(median_age)
2. 字符串清理（空格、大小写、乱码）
去除名字字段的空格和统一大小写：
df['name'] = df['name'].str.strip().str.title()
这样，"Alice " 和 "alice" 也会被标准化为"Alice"。
3. 异常值处理（文本夹数字）
工资字段本来是数字，结果混进了"seven thousand"。
怎么救？强制转换，非法的直接设为NaN：
df['salary'] = pd.to_numeric(df['salary'], errors='coerce')
errors='coerce' 的意思是：遇到鬼数据别报错，直接给我转成NaN。
再补个均值：
mean_salary = df['salary'].mean()
df['salary'] = df['salary'].fillna(mean_salary)
4. 日期字段标准化
入职日期有"unknown"？直接转格式，错误的处理成NaT（缺失日期）。
df['date_joined'] = pd.to_datetime(df['date_joined'], errors='coerce')
5. 去重
最后别忘了，名字、年龄、工资、入职时间都一样的，很可能是重复记录，删了。
df = df.drop_duplicates()
四、小结一下：清洗套路总结
数据清洗，其实就三个动作：
找问题：缺啥？乱啥？多啥？少啥？
动手术：删？补？统一格式？拉到同一标准？
再验收：眼神要毒，数据清洗也要回头看一眼。
而且记住，用pandas一行搞定的，绝不写for循环自虐。
五、现实比演示复杂得多
别小看这点清洗流程，真实业务场景，脏数据比这复杂得多。举几个常见的坑：
多国语言编码错乱
假数据混在真数据里
时间戳格式千奇百怪
各种隐藏符号（比如\u200b零宽空格）
所以清洗数据，不光是技术活，也是“阅脏无数”的经验活。见得多了，你自然知道该怎么优雅应对。
六、最后叨叨几句
千万别觉得数据清洗low，清洗的好坏直接决定了分析和建模的上限。
数据工程师、数据分析师、算法工程师，最根本的功夫其实都是在看谁更懂数据底层结构。
不要光盯着炫酷算法，先把数据喂干净再说，否则Garbage In, Garbage Out，永远跳不出泥潭。
真正厉害的人，连清洗数据都是优雅的。