数据科学-数据预处理

数据科学

数据预处理

一、特征编码

• 数字编码：从0开始赋予特征的每一个取值一个整数。 例子：“收入水平”={0，1，2}来代替“收入水平”=
• One-Hot编码 ：将包含K个取值的离散性特征转化为K个二次特征（取值为0，1的特征）。例子：“汽车品牌”={路虎，吉利，奥迪}，如果该特征为路虎这写成“路虎”（[1,0,0]）、该特征为奥迪这写成“奥迪”（[0,0,1]）

二、缺省值处理

• 删除法
• 均值填补
• 随机填补
• 按照其他特征填补。有无电梯特征有缺失，可以按照楼房高低特征进行对有无电梯特征进行填补。

三、数据标准化

• Z-score标准化 ，适用于特征的最大值和最小值未知和样本分布非常分散的情况
• Min-Max标准化，适用于需要将特征取值简单的线性映射到某一区间中的情形
• 小数定标标准化，就是让特征取值的绝对值总是小于1
• 逻辑斯谛标准化（Logistic）

四、特征离散化

将连续型特征换成离散型特征的过程称为特征离散化。

• 等距离散化
• 等频离散化
• 聚类离散化
• 信息增益离散化
• 卡方离散化
• 类别属性相互依赖最大化

五、离群值检测

• 莱茵达准则（拉依达准则）
• 箱形图
• 基于近邻判断离群值

---以上总结参考于《数据科学导引》