数据清洗的几种常用手段

　　　　数据清洗主要是删除原始数据集中的无关数据、重复数据，过滤与挖掘主题无关的数据，处理缺失值和异常值。

 

缺失值的处理办法

 

　　　　1、不处理

　　　　2、删除记录

　　　　3、数据插补

　　　　　　a、插补均值、中位数、众数

　　　　　　b、使用固定值，用一个常量替换。如一个普通工人的工资缺失，可以按照当地的工资标准给值

　　　　　　c、最近插补：利用与缺失样本最接近的样本的该属性值插补

　　　　　　d、回归插补：建立拟合模型预测缺失值

　　　　　　e、插值法

 

　　　　插值法主要有两种：拉格朗日插值法和牛顿插值法

　　　　拉格朗日插值法就是将样本代入差值多项式，求解近似值。

　　　　牛顿插值法也是多项式的差值，但是采用的构造方法不同f（x）=P（x）+R（x），前一项为逼近函数，后一项为误差函数。我们可以用python来实现拉格朗日插值法。

 

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　

 

　　　　这种插值法，如果插第一个值，会发现得到的结果是负数，明显不符合实际情况，所以还需要修正的。

 

异常值的处理办法

 

　　　　1、删除含有异常值的记录

　　　　2、视为缺失值

　　　　3、平均值修正

　　　　4、不处理