Pandas 数据清洗之处理空值
本文参考自菜鸟教程。
数据清洗是对一些没有用的数据进行处理的过程。
即处理数据集中数据缺失、数据格式错误、错误数据或重复数据的情况。
import pandas as pd
df = pd.read_csv('./property-data.csv')
print(df.to_string())
print(df.info())
清洗空值
检查空值----isnull()
通过 Series.isnull() 判断各个单元格是否为空。
本质上 DataFrame 返回的行或者列都是 Series 类型的数据。
# 首先设置 空 的"定义"
missing_values = ['NA', 'n/a', '--', ''] # 根据 CSV 文件寻找其中 空 的形式
df = pd.read_csv('property-data.csv', na_values=missing_values) # 重新读取 csv 文件,并设置空值
# 查看第一行有没有空值
print(df.loc[2])
print('********************************')
print(df.loc[2].isnull())
PID 100003000.0
ST_NUM NaN
ST_NAME LEXINGTON
OWN_OCCUPIED N
NUM_BEDROOMS NaN
NUM_BATH 1
SQ_FT 850.0
Name: 2, dtype: object
********************************
PID False
ST_NUM True
ST_NAME False
OWN_OCCUPIED False
NUM_BEDROOMS True
NUM_BATH False
SQ_FT False
Name: 2, dtype: bool
# 查看第二列有没有空值
print(df.ST_NUM)
print('********************************')
print(df.ST_NUM.isnull())
0 104.0
1 197.0
2 NaN
3 201.0
4 203.0
5 207.0
6 NaN
7 213.0
8 215.0
Name: ST_NUM, dtype: float64
********************************
0 False
1 False
2 True
3 False
4 False
5 False
6 True
7 False
8 False
Name: ST_NUM, dtype: bool
删除空值所在的行----dropna()
dropna()方法:DataFrame.dropna(axis=0, how='any', thresh=None, subset=None, inplace=False)
参数说明：
axis：默认为 0，表示逢空值剔除整行，如果设置参数 axis＝1 表示逢空值去掉整列。
how：默认为 'any' 如果一行（或一列）里任何一个数据有出现 NA 就去掉整行，
如果设置 how='all' 一行（或列）都是 NA 才去掉这整行。
thresh：设置需要多少非空值的数据才可以保留下来的。
subset：设置想要检查的列。如果是多个列，可以使用列名的 list 作为参数。
inplace：如果设置 True，将计算得到的值直接覆盖之前的值并返回 None，修改的是源数据。
print(df.to_string())
PID ST_NUM ST_NAME OWN_OCCUPIED NUM_BEDROOMS NUM_BATH SQ_FT
0 100001000.0 104.0 PUTNAM Y 3 1 1000.0
1 100002000.0 197.0 LEXINGTON N 3 1.5 NaN
2 100003000.0 NaN LEXINGTON N NaN 1 850.0
3 100004000.0 201.0 BERKELEY 12 1 NaN 700.0
4 NaN 203.0 BERKELEY Y 3 2 1600.0
5 100006000.0 207.0 BERKELEY Y NaN 1 800.0
6 100007000.0 NaN WASHINGTON NaN 2 HURLEY 950.0
7 100008000.0 213.0 TREMONT Y 1 1 NaN
8 100009000.0 215.0 TREMONT Y na 2 1800.0
dfTemp = df.dropna(axis=0, how='any', subset=['PID', 'ST_NUM'], inplace=False)
# 检查df中 subset 中的列
# 一旦遇到空值 (how='any')
# 就删除此行 (axis=0)
# 不修改源数据 (inplace=False)
print(dfTemp.to_string())
PID ST_NUM ST_NAME OWN_OCCUPIED NUM_BEDROOMS NUM_BATH SQ_FT
0 100001000.0 104.0 PUTNAM Y 3 1 1000.0
1 100002000.0 197.0 LEXINGTON N 3 1.5 NaN
3 100004000.0 201.0 BERKELEY 12 1 NaN 700.0
5 100006000.0 207.0 BERKELEY Y NaN 1 800.0
7 100008000.0 213.0 TREMONT Y 1 1 NaN
8 100009000.0 215.0 TREMONT Y na 2 1800.0
替换空值单元格----fillna()
一般指定某一列,当此列中出现空值时,使用此列的均值mean()、中位数medium()或众数mode()来替代空值单元格。
print(df.to_string())
PID ST_NUM ST_NAME OWN_OCCUPIED NUM_BEDROOMS NUM_BATH SQ_FT
0 100001000.0 104.0 PUTNAM Y 3 1 1000.0
1 100002000.0 197.0 LEXINGTON N 3 1.5 NaN
2 100003000.0 NaN LEXINGTON N NaN 1 850.0
3 100004000.0 201.0 BERKELEY 12 1 NaN 700.0
4 NaN 203.0 BERKELEY Y 3 2 1600.0
5 100006000.0 207.0 BERKELEY Y NaN 1 800.0
6 100007000.0 NaN WASHINGTON NaN 2 HURLEY 950.0
7 100008000.0 213.0 TREMONT Y 1 1 NaN
8 100009000.0 215.0 TREMONT Y na 2 1800.0
# 对 ST_NUM 列的空值,使用此列的均值替换,并修改源数据df
df.ST_NUM.fillna(df.ST_NUM.mean(), inplace=True)
print(df)
PID ST_NUM ST_NAME OWN_OCCUPIED NUM_BEDROOMS NUM_BATH \
0 100001000.0 104.000000 PUTNAM Y 3 1
1 100002000.0 197.000000 LEXINGTON N 3 1.5
2 100003000.0 191.428571 LEXINGTON N NaN 1
3 100004000.0 201.000000 BERKELEY 12 1 NaN
4 NaN 203.000000 BERKELEY Y 3 2
5 100006000.0 207.000000 BERKELEY Y NaN 1
6 100007000.0 191.428571 WASHINGTON NaN 2 HURLEY
7 100008000.0 213.000000 TREMONT Y 1 1
8 100009000.0 215.000000 TREMONT Y na 2
SQ_FT
0 1000.0
1 NaN
2 850.0
3 700.0
4 1600.0
5 800.0
6 950.0
7 NaN
8 1800.0
