使用sklearn进行数据预处理
- 实现平台:BigQuant—人工智能量化投资平台
- 可在文末前往原文一键克隆代码进行进一步研究
1. 数据标准化
数据标准化(Standardization or Mean Removal and Variance Scaling)
进行标准化缩放的数据均值为0,具有单位方差。
scale函数提供一种便捷的标准化转换操作,如下:
同样我们也可以通过preprocessing模块提供的Scaler(StandardScaler 0.15以后版本)工具类来实现这个功能:
2. 特征缩放
2.1 MinMaxScaler(最小最大值标准化)
将数据缩放至给定的最小值与最大值之间,通常是0与1之间
公式:X_std = (X - X.min(axis=0)) / (X.max(axis=0) - X.min(axis=0)) ;
2.2 MaxAbsScaler(绝对值最大标准化)
它通过除以最大值将训练集缩放至[-1,1]。这意味着数据已经以0为中心或者是含有非常非常多0的稀疏数据。
3. 数据规范化(Normalization)
把数据集中的每个样本所有数值缩放到(-1,1)之间。
4. 二进制化(Binarization)
将数值型数据转化为布尔型的二值数据,可以设置一个阈值(threshold)
5. 标签预处理(Label preprocessing)
5.1 标签二值化(Label binarization)
LabelBinarizer通常用于通过一个多类标签(label)列表,创建一个label指示器矩阵
5.2 标签编码(Label encoding)
源码地址:《使用sklearn进行数据预处理》