数据挖掘流程

以京东购买预测为例,讲述数据挖局一般流程:

数据挖掘流程:

(一)、数据清洗

  1、数据集完整性验证

  2、数据集中是否存在缺失值

  3、数据集中各特征数值应该如何处理

  4、哪些数据使我们想要的,哪些是可以过滤掉的

  5、将有价值数据信息做成新的数据源

  6.去除无行为交互的商品和用户

  7、去掉浏览量很大而购买量很少的用户(惰性用户或者爬虫用户)

(二)、数据理解与分析

  1、掌握 各个特征的含义

  2、观察数据有哪些特点,是否可以利用来建模

  3、可视化展示便于分析

  4、用户的购买意向是否随时间等因素变化

(三)、特征提取(特征工程)

  1、基于清洗后的数据集哪些特征是有价值的

  2、分别对用户与商品以其之间构成的行为进行 特征提取

  3、行为因素中哪些是核心?如何提取?

  4、瞬时行为特征or累计行为特征?

(四)、模型建立

  1、使用机器学习算法进行预测

  2、参数设置与调节

  3、数据集切分?

 

posted @ 2018-11-23 22:46  飘在天上的云  阅读(231)  评论(0编辑  收藏  举报