Excel & Python | 淘米洗菜——数据预处理 | 03
从菜市场买来的菜，总有些不太好的，所以把菜买回来以后要先做一遍预处理，把那些不太好的部分扔掉。现实中大部分的数据都类似于菜市场的菜品，拿到以后都要先做一次预处理。
常见的不规整数据主要有缺失数据、重复数据、异常数据几种，在开始正式的数据分析之前，我们需要先把噶这些不太规整的数据处理掉。
缺失值处理
缺失值就是由某些原因导致部分数据为空，对于空的这部分数据我们一般有两种处理方式，一种是删除，即把含有缺失值的数据删除；另一种是填充，即把缺失的那部分数据以哦那个某个值填充。
缺失值查看
对于缺失值的处理，首先要把缺失值找出出来，也就是查看哪列有缺失值。
在Excel中，我们先选中一列没有缺失值的数据，看一下这一列数据共有多少个，然后把其他列的计数与这一列进行对比，小于这一列数据个数的代表有缺失值，差值就是缺失个数。
下图中非缺失值的数据计数为5，性别这一列计数为4，这就表示性别这一列有1个缺失值。
如果想看整个数据表中每列数据的缺失情况，则要挨个选中每一列去判断该列是否有缺失值。
如果数据不是特别多，你想看具体是哪个单元格缺失，则可以利用定位条件（按快捷键Ctrl+G可弹出该对话框）查找。在定位条件对话框中选择空值，单击确定就会把所有的空值选中。
通过空值把缺失值选出来的结果。
在Python中直接调用info()机会返回每一列的缺失情况。
Python中缺失值一般用NaN表示，从用info()方法的结果来看，性别这一列是3non-null object，表示性别这一列有3个非null值，而其他列有4个非null值，则说明性别这一列有1个null值。
我们还可以使用isnull()来判断哪个值是缺失值，如果是缺失值则返回True，如果不是则返回False。
缺失值删除
缺失值的份两种，一种是一行中某个字段是缺失值；另一种是一行中的字段全部为缺失值，即一个空白行。
在Excel中，这两种缺失值都可以通过定位条件（按快捷键Ctrl+G可弹出该对话框）对话框中选择空值找到。
这样含有缺失值的部分就会被选中，包括某个具体的单元格及一整行，然后单击鼠标右键在弹出的删除对话框中选择删除整行选项，并单击确定按钮可实现整行删除。
在Python中，我们利用的dropna()方法，dropna()方法默认删除含有缺失值的行，也就是只要某一行有缺失值就把这一行删除。
运行dropna()方法后，删除含有NaN值得行，返回删除后得数据。
如果只想删除空白行，只要给dropna()方法传入一个参数 how='all'即可，这样就只会删除那些全为空行的值，不全为空值的行就不会被删除。
上表第二行中只有性别这个字段是空值，所以在利用dropna(how = "all")的时候并没有删除第二行，只是把全为NaN值的第三行删掉了。
缺失值填充
上面介绍了缺失值的删除，但是数据是宝贵的，一般情况下只要数据缺失比例不是过高（大于30%），尽量别删除，而是选择填充。
在Excel中，缺失值的填充和缺失值删除一样，利用的也是定位条件，先把缺失值找到，然后在第一个缺失值的单元格中输入要填充的值，最常用就是用0填充，输入以后按Ctril+Enter组合键就可以对所有缺失值进行填充。
缺失值填充前后对比如下图所示。
年龄用数值填充合适，但是性别用数字填充就不太合适，那么可不可以分开填充呢？答案是可以的，选中要填充的那一列，按照填充全部数据的方式进行填充即可，只不过要填充几列，需要执行几次操作。
上图是填充前后的对比，年龄这一列我们用平均值填充，性别这一列我们用众数填充。
除了用0填充、平均值填充、众数（大多数）填充，还有向前填充（即用缺失值的前一个非缺失值填充）、向后填充（与向前填充对应）等方式。
在Python中，我们利用fillna()对数据表中的所有缺失值进行填充，在fillna后面的括号中输入要填充的值即可。
在Python中我们也可以按不同列填充，只要在fillna()的括号中指明列名即可。
上面代码值针对性别这一列进行了填充，其他列未进行任何更改。
也可以同时对队列填充不同的值
重复值处理
重复数据就是同样的记录有多条，对于这样的数据我们一般做删除处理。
假设你是一名数据分析师，你的主要工作是分析公司的销售情况，现有公司2018年8月的销售明细（已知一条明细对应一笔成交记录），你想看一下8月整体成交量是多少，最简单的方式就是看一下有多少条成交明细。但是这里可能会有重复的成交记录存在，所以要先删除重复项。
在Excel中一次点击菜单栏中的数据>数据工具>删除重复值，就可以删除重复数据了。
Excel的删除重复值默认针对所有值进行重复值判断，比如有订单编号、客户姓名、唯一识别码（类似于身份证号）、成交时间这四个字段，Excel会判断这四个字段是否都相等，只有都相等时才会删除，且保留第一个（行）值。
你知道了公司8月成交明细以后，你想看一下8月总共有多少成交客户，且每个客户在8月首次成交的日期。
查看客户数量只需要按客户的唯一识别码进行去重就可以了。 Excel默认是全选，我们可以取消全选，选择唯一识别码进行去重，这 样只要唯一识别码重复就会被删除，如下图所示。
因为Excel默认会保留第一条记录，而我们又想要获取每个客户的 较早成交日期，所以我们需要先对时间进行升序排列，让较早的日期排在前面，这样在删除的时候就会保留较早的成交日期。
删除前后的对比如下图所示。
在Python中利用drop_duplicates()，该方法门口人对所有值进行重复值判断，且默认保留第一个（行）值。
上面的代码是针对所有字段进行的重复值判断，我们同样也可以只针对某一列或某几列进行重复子删除的判断，只需要在drop_duplicates()中指明要判断的列名即可。
也可以利用多列去重，只需要把多个列名以列表的形式传给参数subset即可。
比如按姓名和唯一识别码去重。
还可以自定义删除重复项时保留哪个，默认保留第一个，也可以设 置保留最后一个，或者全部不保留。通过传入参数keep进行设置，参数 keep默认值是first，即保留第一个值；也可以是last，保留最后一个值；
还可以是False，即把重复值全部删除。
异常值的检测于处理
异常值就是相比其他正常数据而言过高或过低的数据，比如一个人的年龄是0岁或300岁都算是一个异常值，因为这和实际情况差距过大。
异常值检测
要处理异常值首先要检测，也就是发现异常值，发现异常值的方式主要有以下三种。
- 根据业务经验怀挡不同指标的正常范围，超过该范围的值算作异常值
- 通过绘制箱线图，把大于（小于）箱型图上边缘（下边缘）的点称为异常值
- 如果数据服从正态分布，，则可以利用3σ 原则；如果一个数值与平均值之间的偏差超过3倍标准差，那么我们就认为这个值是异常值。
箱形图如下图所示，关于箱形图的绘制方法我们会在第13章介绍。
下图为正太分布图，我们把大于μ+3σ的值称为异常值。
异常值处理
对于异常值一般有以下几种处理方式。
- 最常用的处理方式就是删除
- 把异常值当作缺失值来填充
- 把异常值当作特殊情况，研究异常值出现的原因
在Excel中，删除异常值只要通过筛选把异常值对应的行找出来，然后单击鼠标右键选择删除行即可。
对异常值进行填充，其实就是对异常值进行替换，同样通过筛选功能把异常值先找出来，然后把这些异常值替换成要填充的值即可。
在Python中，删除异常值用到的方法和Excel中的方法原理类似，Python中式通过过滤的方法对异常值进行删除。比如df表中有年龄这个指标，要把年龄大于200的值删掉，你可以通过筛选把年龄不大于200的筛出来，筛出来的部分就是删除大于200的值以后的新表。
对于异常值的填充，就是对异常值进行替换，利用replace()可以对特定的值进行替换。
（关于数据筛选和数据替换会在后面的章节中介绍）
数据类型转换
数据类型
在Excel中常用的数据类型就是在菜单栏中数字选项下面的几种，你也可以选择其他数据格式，如下图所示。
在Excel中只要选中某一列就可以在菜单栏看到这一列的数据类型。
当选中成交时间这一列时，菜单栏中就会显示日期，表示成交时间这一列的数据类型是日期格式，如下图所示。
Pandas不像Excel分得那么详细，它主要有6种数据类型，如下表所示。
在 Python 中，不仅可以用 info()方法获取每一列的数据类型，还可以通过 dtype属性来获取某一列的数据类型。
类型转换
我们在前面说过，不同数据类型的数据可以做的事情是不一样的，所以我们需要对数据进行类型转化，把数据转换为我们需要的类型。
在Excel中如果想更改某一列的数据类型，只要选中这一列，然后在数字菜单栏中通过下拉菜单选择你要转换的目标类型即可实现。
下图就是将文本类型的数据转换成数值类型的数据，数值类型数据默认为两位小数，也可以设置成其他位数。
在Python中，我们利用astype()方法对数据类型进行转换，astype后面的括号里指明要转换的目标类型即可。
索引设置
索引是查找数据的依据，设置索引的目的是便于我们查找数据。
举个例子，你逛超市买了很多食材，回到家以后要把它们放在冰箱里，放的过程其实就是一个建立索引的过程，比如蔬菜放在冷藏室，肉类放在冷冻室，这样在找的时候就能很快找到。
为无索引表添加索引
有的表没有索引，这时要给这类表加一个索引。
在Excel中，一般都是有索引的，如果没索引数据看起来会很乱，当然也会有例外，数据表就是没有索引的。这个时候插入一行一列就是为表添加索引。添加索引前后的对比如下图所示，序号列为行索引，字段名称为列索引。
在Python中，如果表没有索引，会默认用从0开始的自然数做索引，比如下面这样：
通过给表df的columns参数传入列索引值，index参数传入行索引值 达到为无索引表添加索引的目的，具体实现如下：
重新设置索引
重新设置索引，一般指行索引的设置。
有的表虽然有行索引，但不是我们想要的索引，比如现在有一个表是把序号作为行索引，而我们想要把订单号作为行索引，该怎么实现？
在Excel中重新设置行索引比较简单，你想让哪一列做行索引，直接把这一列拖到第一列的位置即可。
在Python中可以利用set_index()方法重新设置索引列，在set_index()里指明要用作行索引的列的名称即可。
在重新设置索引时，还可以给set_index()方法传入两个或多个列名，我们把这种一个表中用多列来做索引的方式称为层次化索引，层次化索引一般用在某一列中含有多个重复值的情况下。层次化索引的例子，如下所示，其中 a、b、c、d 分别有多个重复值。
重命名索引
重命名索引是针对现有索引名进行修改的，就是改字段名。
在Excel中重命名索引比较简单，就是直接修改字段名。
在Python中重命名索引，我们利用的是rename()方法，在rename后的括号里指明要修改的行索引及列索引名。
重置索引
重置索引主要用在层次化索引表中，重置索引是将索引列当作一个columns进行返回。
在下图左侧的表中，Z1、Z2是一个层次化索引，经过重置索引以后，Z1、Z2这两个索引以columns的形式返回，变为常规的两列。
在Excel中，我们要进行这种转换，直接通过复制、粘贴、删除等功能就可以实现，比较简单。我们主要讲一下在Python中怎么实现。
在Python利用的是reset_index()方法，reset_index()方法常用的参数如下：
-
level参数用来指定要将层次化索引的第几级别转化为columns，第一个索引为0级，第二个索引为1级，默认为全部索引，即默认把索引全部转化为columns。
-
drop参数用来指定是否将原索引删掉，即不作为一个新的
-
columns，默认为False，即不删除原索引。
-
inplace参数用来指定是否修改原数据表。
reset_index()常用于数据分组、数据透视表中。
小结
缺失值处理
查看缺失值
info() 定位哪一列有缺失值（通过和其他列比较）
isnull() 找出缺失值的具体位置
删除缺失值
dropna() 有空值就删除整行
dropna(how='all') 只删除空白行
填充缺失值
fillna()
参数 字典 key:列名 value:要填充的值
重复值处理
删除重复值
drop_duplicates()
参数 subset 列表 根据判断重复值的属性
异常值处理
异常值检测
根据业务经验，划分不同指标的正常范围
根据箱线图来判断异常值
如果数据服从正太分布，有3σ原则
异常值删除
其实异常值删除就是 =》 过滤，比如要删除年龄大于200的，那么就df[df['age']<200]
异常值填充 实际上就是对异常值进行替换 有replace()
数据类型
查看单列得数据类型
属性 dtype （只能Series使用） df["唯一识别码"].dtype
df要查看列要使用 info()
数据类型转换
astype() df["唯一识别码"].astype("float")
索引设置
无索引的数据
导入数据 df=pd.read_excel("...xlsx",sheet_name=3,header=None) # 没有列索引
df.index=[...] # 增加行索引
df.columns=[...] # 增加列索引
重新设置索引 set_index()
这里的重新设置索引，都是说的行索引
重命名索引 rename()
参数 index、columns
给字典 key：原名 value:新名
重置索引 reset_index
将层次化索引的索引还原成一个普通列
重置索引常用于 数据分组、数据透视表
