Pandas （三）缺失值处理
在了解缺失值如何处理之前，首先要知道的就是什么是缺失值？直观上理解，缺失值表示的是“缺失的数据”。
可以思考一个问题：是什么原因造成的缺失值呢？其实有很多原因，实际生活中可能由于有的数据不全所以导致数据缺失，也有可能由于误操作导致数据缺失，又或者人为地造成数据缺失。
一、寻找缺失值
这些缺失值，可以使用 isnull() 或 notnull()方法来操作。
grade.isnull()
grade.notnull()
掩码提取空值
# 把grade里面 语文为空的数据提取出来 grade[grade.语文.isnull()]
# 三科有空的同学 提取出来 grade[grade.语文.isnull() | grade.数学.isnull() | grade.英语.isnull() ]
# 统计空值 grade.info()
二、丢弃缺失值
既然有缺失值了，常见的一种处理办法就是丢弃缺失值。使用 dropna 方法可以丢弃缺失值。
# 只要存在空值的行,全部删除 grade.dropna()
# 只要列中存在空值 ,则删除 grade.dropna(axis=1).shape
# subset 子集 # 只删除姓名为空的数据 grade.dropna(subset=['姓名'])
user_info.dropna(axis=0, how='any', thresh=None, subset=None, inplace=False)Seriese 使用 dropna 比较简单，对于 DataFrame 来说，可以设置更多的参数。
axis 参数用于控制行或列，跟其他不一样的是，axis=0 （默认）表示操作行，axis=1 表示操作列。
how 参数可选的值为 any（默认） 或者 all。any 表示一行/列有任意元素为空时即丢弃，all 一行/列所有值都为空时才丢弃。
subset 参数表示删除时只考虑的索引或列名。
thresh参数的类型为整数，它的作用是，比如 thresh=3，会在一行/列中至少有 3 个非空值时将其保留。
# 把一部分设置为空 grade_2.loc[30: , '总分'] = np.nan grade_2.loc[50: , '班名次'] = np.nan grade_2
三、填充缺失值
除了可以丢弃缺失值外，也可以填充缺失值，最常见的是使用 fillna 完成填充。fillna 这名字一看就是用来填充缺失值的。
1.固定值填充
填充缺失值时，常见的一种方式是使用一个标量来填充。例如，这里我样有缺失的年龄都填充为 0。
# 对DataFrame填充 grade.fillna(0)
# 采用平均数填充语文 grade.语文.fillna( round(grade.语文.mean()))
采用固定值填充， 均值 ， 中位数， 众数……
2.上下文填充
除了可以使用标量来填充之外，还可以使用前一个或后一个有效值来填充。设置参数 method='pad' 或 method='ffill' 可以使用前一个有效值来填充。
# 采用上面的进行填充 grade.fillna(method='ffill')
设置参数 method='bfill' 或 method='backfill' 可以使用后一个有效值来填充。
# 采用下面的进行填充 grade.fillna(method='bfill')
除了通过 fillna 方法来填充缺失值外，还可以通过 interpolate 方法来填充。默认情况下使用线性差值，可以是设置 method 参数来改变方式。
# 线性插值填充 grade.interpolate()
3.替换缺失值
但是我也说过了，这些在 Pandas 的眼中是缺失值，有时候在我们人类的眼中，某些异常值我们也会当做缺失值来处理。 例如，在我们的存储的用户信息中，假定我们限定用户都是青年，出现了年龄为 40 的，我们就可以认为这是一个异常值。再比如，我们都知道性别分为男性（male）和女性（female），在记录用户性别的时候，对于未知的用户性别都记为了 “unknown”,很明显，我们也可以认为“unknown”是缺失值。此外，有的时候会出现空白字符串，这些也可以认为是缺失值。
对于上面的这种情况，我们可以使用 replace 方法来替换缺失值。
4.使用其他对象填充
除了我们自己手动丢弃、填充已经替换缺失值之外，我们还可以使用其他对象来填充。
例如有两个关于用户年龄的 Series，其中一个有缺失值，另一个没有，我们可以将没有的缺失值的 Series 中的元素传给有缺失值的。
user_info['新年龄'] = user_info.年龄.copy() user_info['新年龄'].fillna(20, inplace=True) user_info
