数据挖掘流程
以京东购买预测为例,讲述数据挖局一般流程:
数据挖掘流程:
(一)、数据清洗
1、数据集完整性验证
2、数据集中是否存在缺失值
3、数据集中各特征数值应该如何处理
4、哪些数据使我们想要的,哪些是可以过滤掉的
5、将有价值数据信息做成新的数据源
6.去除无行为交互的商品和用户
7、去掉浏览量很大而购买量很少的用户(惰性用户或者爬虫用户)
(二)、数据理解与分析
1、掌握 各个特征的含义
2、观察数据有哪些特点,是否可以利用来建模
3、可视化展示便于分析
4、用户的购买意向是否随时间等因素变化
(三)、特征提取(特征工程)
1、基于清洗后的数据集哪些特征是有价值的
2、分别对用户与商品以其之间构成的行为进行 特征提取
3、行为因素中哪些是核心?如何提取?
4、瞬时行为特征or累计行为特征?
(四)、模型建立
1、使用机器学习算法进行预测
2、参数设置与调节
3、数据集切分?