数据挖掘学习笔记-第二章数据预处理
第二章 Data Preprocessing
Missing Data 丢失的数据
Local Outlier Factor 不合群的数据如何找出
Duplicate data 重复的数据
Data Transformation 数据转换
Sampling 采样,和统计学的采样相反。
Imbalanced Datasets
Over-Sampling
Boundary-Sampling 对于数据集太大时,可以考虑采用边缘采样,边缘点更有意义
Normalization
Data Description (Mean,Median,Modle,Variance) 中位数往往比均值更好
Data Visualization (MATLAB,CiteSpace,Gephi)多运用常用工具来展示数据
Feature Selection
Class Distribution
Entropy
Feature Subset Search 根据需要选择部分子集,使其高效
几种策略
Feature Extraction
Principal Component Analysis
The Issue of Pca 未考虑到分类
Fisher Critrion
总结:数据预处理往往被认为是 花费时间最多、最繁杂、最累的工作,但是却是不可缺少的一步。