数据抽取要正确反映业务需求

数据抽样

分析数据的规模有哪些具体要求

如果处理缺失值和异常值

数据转换:生成衍生变量(指标);改善变量分布的转换(取对数等);分箱转换;数据标准化(min-max标准化:x* = (x-min)/(max-min));

筛选有效的输入变量:根据业务先行筛选;根据相关性指标初步筛选(皮尔逊相关系数r);R平方(多元线性回归分析方法)筛选;卡方检验确定自变量与目标变量之间有比较强的关联性;IV和WOE(通过WOE的变化调整出最佳的分箱阈值,通过IV值或Gini分数筛选出较高预测价值的自变量);建模算法自身的筛选功能(决策树、回归);

共线性问题的发现(相关系数、主成分分析等)与处理;

posted on 2014-01-18 17:01  风生水起  阅读(1143)  评论(0编辑  收藏  举报