数据清洗要点

缺失值清洗:

1. 确定缺失值范围:根据缺失值范围来选择下一步操作;

2. 去除不需要的字段:直接删除该字段数据;

3. 填充:根据经验、建模预测等填充缺失值;

4. 重新获取:若信息很重要,确实率很高,可重新获取;

 格式内容清洗

1. 时间、日期等,统一其格式;

2. 内容中不该存在的字符:如空格;

3. 内容与该字段内容不符:如手机号字段存在出生日期;

逻辑错误清洗

1. 去重;

2. 去除不合理值:如人的年龄1000岁;

3. 修正矛盾内容:如身份证号与年龄的逻辑关系;

posted @ 2020-06-09 17:36  牛郎  阅读(390)  评论(0编辑  收藏  举报