Python数据挖掘——数据预处理

Python数据挖掘——数据预处理

• 数据预处理
  • 数据质量
    • 准确性、完整性、一致性、时效性、可信性、可解释性
  • 数据预处理的主要任务
    • 数据清理
    • 数据集成
    • 数据归约
      • 维归约
      • 数值归约
    • 数据变换
      • 规范化
      • 数据离散化
      • 概念分层产生
• 数据清理（试图填充缺失的值，光滑噪声并识别离群点，纠正数据的不一致）
  • 缺失值
    • 忽略元组
    • 人工填写缺失值
    • 使用一个全局常量填充缺失值
    • 使用属性的中心度量（均值／中位数）填充缺失值
    • 使用与给定元组属于同一类的所有样本的均值／中位数
    • 使用最可能的值 填充缺失值
    • 注：某些情况，缺失值并不代表错误
  • 噪声数据（噪声是被测量的变量的随机误差或方差）
    • 分箱（通过考察数据的近邻，来光滑有序数据值）
      • 用箱均值
      • 用箱中位数
      • 用箱边界
    • 回归
    • 离群点分析（通过聚类来检测离群点）
  • 数据清理化为一个过程
    • 首先进行偏差检测，还要防止字段过载
      • 唯一性规则
      • 连续性规则
      • 空值规则
    • 偏差检测商业工具
      • 数据清洗工具
      • 数据审计工具
    • 数据迁移工具
      • EIL工具
• 数据集成
  • 实体识别问题
  • 冗余和相关分析
  • 元组重复
  • 数据值冲突的检测与处理
• 数据归约
  • 数据变换与数据离散化