Python缺失值处理实现
在数据处理相关工作中，读取的数据中常常会有缺失值的情况，为顺利进行后续的操作，需要首先对缺失值进行处理，处理的方式一般为删除或填充，Python中提供了专门的工具包，可以方便地进行实现。读取操作可以由pandas模块实现，通常直接读一个excel或csv文件，创建为DataFrame对象，模块中的dropna方法和fillna方法可以实现对缺失值的删除和填充。
现有下列数据文件，文件命名为testdata.xlsx，对它进行缺失值处理。
读取数据：
import pandas as pd
data = pd.read_excel("./testdata.xlsx")
易知数据中第4行第1列、第6行第2列、第2行第4列、第3行第4列是缺失的。
1.删除
对于缺失的地方，可以删除所在的行或所在的列。
(1).删除含空值的行，在dropna()中加参数axis=0.
data.dropna(axis=0,inplace=True)
(2).删除含空值的列，在dropna()中加参数axis=1.
data.dropna(axis=1,inplace=True)
2.填充
对于缺失的地方，也可以填入一个值使之不再空缺。通常填0、指定字符、中位数、均值、相邻值或拟合值。
(1).填充0
data.fillna(0,inplace=True)
(2) 填充指定字符
data.fillna('无',inplace=True)
(3) 填充整体的均值、中位数
均值（保留一位小数）：
t = np.round(np.mean(data),1)
data.fillna(t,inplace=True)
中位数：
dnr = np.array(data)
dnr = dnr[~np.isnan(dnr)] # 非nan元素
t = np.median(dnr) # 整体中位数
data.fillna(t,inplace=True)
(4)填充所在列的均值、中位数
均值：
data.fillna(data.mean(),inplace=True)
中位数：
（奇数个元素取中间的，偶数个元素取中间两个的均值）
data.fillna(data.median(),inplace=True)
(5)填充相邻值
a. 填充列的前相邻值
data.fillna(method='ffill',axis=0,inplace=True)
或
data.ffill(axis=0,inplace=True)
b. 填充列的后相邻值
data.fillna(method='bfill',axis=0,inplace=True)
或
data.bfill(axis=0,inplace=True)
c. 填充行的前相邻值
data.fillna(method='ffill',axis=1,inplace=True)
或
data.ffill(axis=1,inplace=True)
d. 填充行的后相邻值
data.fillna(method='bfill',axis=1,inplace=True)
或
data.bfill(axis=1,inplace=True)
(6)按列填充指定内容
有时不同列空缺数据的填充需求是不一致的，此时可以按列进行填充。
a.填充某一列
对第4列空缺处填充列均值
mean_c4 = data['TitleC4'].mean()
data['TitleC4'].fillna(mean_c4, inplace=True)
对第4列空缺处填充前相邻值
data['TitleC4'].fillna(method='ffill',axis=0,inplace=True)
或
data['TitleC4'].ffill(axis=0,inplace=True)
b,用字典指定填充多列
fill_values = {'TitleC1':1111,'TitleC2':2222,'TitleC4':4444,'TitleC5':5555}
data.fillna(value=fill_values, inplace=True)
(7)填充拟合值（插值算法）
对于元素仅为数字的数据，缺失部分也可用插值算法填充，如线性插值、二次插值、三次插值、样条插值等。
data.interpolate(method='slinear',inplace=True) #线性插值
data.interpolate(method='quadratic',inplace=True) #二次插值
data.interpolate(method='cubic',inplace=True) #三次插值
参考：
1.https://www.python100.com/html/L1PK07477FUQ.html
2.https://www.python100.com/html/120094.html
3.https://www.python100.com/html/75400.html
4.https://blog.csdn.net/weixin_46277779/article/details/126224097
