一个简单但是能上分的特征标准化方法

一般情况下我们在做数据预处理时都是使用StandardScaler来特征的标准化,如果你的数据中包含异常值,那么效果可能不好。

这里介绍的方法叫Robust Scaling,正如它的名字一样能够获得更健壮的特征缩放结果。与StandardScaler缩放不同,异常值根本不包括在Robust Scaling计算中。因此在包含异常值的数据集中,更有可能缩放到更接近正态分布。

StandardScaler会确保每个特征的平均值为0,方差为1。而RobustScaler使用中位数和四分位数(四分之一),确保每个特征的统计属性都位于同一范围。

公式如下:

我们使用一些数据看看他的结果,首先创建测试数据

  1. import numpy as np
  2. import matplotlib.pyplot as plt
  3. nb_samples = 200
  4. mu = [1.0, 1.0]
  5. covm = [[2.0, 0.0], [0.0, 0.8]]
  6. X = np.random.multivariate_normal(mean=mu, cov=covm, size=nb_samples)

然后使用三个常用的缩放方法对数据进行预处理:

  1. from sklearn.preprocessing import StandardScaler, RobustScaler, MinMaxScaler
  2. ss = StandardScaler()
  3. X_ss = ss.fit_transform(X)
  4. rs = RobustScaler(quantile_range=(10, 90))
  5. X_rs = rs.fit_transform(X)
  6. mms = MinMaxScaler(feature_range=(-1, 1))
  7. X_mms = mms.fit_transform(X)

可视化:

 

https://avoid.overfit.cn/post/003377e07cdd4a7db3d4039979019bb8

posted @ 2022-06-29 09:46  deephub  阅读(26)  评论(0编辑  收藏  举报