数据的特征预处理?(归一化)&(标准化)&(缺失值)

特征处理是什么：

　　通过特定的统计方法(数学方法)将数据转化成为算法要求的数据

sklearn特征处理API：

　　sklearn.preprocessing

代码示例：  文末！

 

归一化：

 

 

   公式：       

   注意：作用于每一列，max为一列的最大值，min为一列的最小值，那么X''为最终结果，mx、mi分别为指定区间，默认mx为1，mi为0

 

 

 sklearn归一化API：

　　sklearn.preprocessing.MinMaxScaler

 归一化总结：

　　注意在特定场景下最大值与最小值是变化的，另外，最大值与最小值非常容易受到异常点的影响，所以这种方法鲁棒性较差，只适合传统精确小数据场景

 

标准化：

 

 

   公式：

 

 

 

 

 

 对于归一化来说，如果出现异常点，影响了最大值和最小值，那么结果显然会发生改变

 对于标准化来说，如果出现异常点，由于具有一定数据量，少量的异常点对于平均值的影响并不大，从而方差改变较小

sklearn标准化API：

　　sklearn.preprocessing.StandardScaler

标准化总结：

　　在已有样本足够多情况下比较稳定，适合现在嘈杂的大数据

 

缺失值：

 

 

 sklearn缺失值API：

　　sklearn.preprocessing.imputer

 

代码示例：

from sklearn.preprocessing import MinMaxScaler, StandardScaler, Imputer
import numpy as np


def mm():
    """归一化处理
    X' = (x-min)/(max-min)
    X'' = X'*(mx-mi)+mi
    """
    m = MinMaxScaler(feature_range=(5,10))  # 默认范围为0-1
    array = [[90,2,10,40],[60,4,15,45],[75,3,13,46]]
    data = m.fit_transform(array)
    print(data)

def standard():
    """标准化缩放
    相比于归一化，标准化对于存在异常值而对结果的影响不大，适合大数据
    而归一化，由于受异常点的影响，所以......
    """
    s = StandardScaler()
    array = [[1,-1,3], [2,4,2], [4,6,-1]]
    data = s.fit_transform(array)
    print(data)

def im():
    """缺失值处理"""
    im = Imputer(missing_values='NaN', strategy='mean', axis=0)  # nan 或 NaN都可以，固定写法，填补策略(平均值)，按列填充
    data = im.fit_transform([[1,2],[np.nan,3],[7,6]])
    print(data)


if __name__ == '__main__':
    mm()
    standard()
    im()