第二讲 数据预处理

1.认识数据

（1）数据集由数据对象构成，数据对象由属性来描述，属性的类型由属性可取的值决定
（2）标称类型，二元属性（对称，非对称），序数属性，数值属性: 离散/连续属性
（3）数据的统计描述
中心性度量: 均值，中值，众数，中位数
离散性度量: 方差，标准差，分位数
注: 分位数: 五数概括
最小值，Q1, 中值，Q3，最大值（去除离散点以后）
均值图→五数概括图

2. 数据采集

爬虫技术

3. 数据清洗

数据质量: 正确性，唯一性
正确性:
（1）完整性（完备性（模式符合性，统一性），有效性）
（2）一致性
（3）密度

唯一性:。。。

语法类，语义类

数据清洗具体技术:
数据解析方式(误差距离最近)
数据类型转换(男女→01)
数据去重

4. 数据集成

物理式，虚拟式

需要克服的困难:
异构性: 联邦数据库(需要转换再转换合并)，数据仓库模式(完全合并，更新问题，增量式更新)，中介者模式(查询转换，不合并))

实体解析合并方法