机器学习之缺失值的处理方法以及各种方法的优劣
1)用数值进行填充
用平均值、中值、分位数、众数、随机值等替代。简便快速但是效果一般,因为等于人为增加了噪声。
2)用算法拟合进行填充(常用的是随机森林算法)
相对一较为准确。但是有一个根本缺陷,如果其他变量和缺失变量无关,则预测的结果无意义。如果预测结果相当准确,则又说明这个变量是没必要加入建模的。
3)对于缺失值很大的列直接删除,或者是映射到高维
映射到高维举例方法如下:若性别一列缺失较大,则可映射为男0,女1,不知2
这样做的好处是完整保留了原始数据的全部信息、不用考虑缺失值、不用考虑线性不可分之类的问题。缺点是计算量大大提升。而且只有在样本量非常大的时候效果才好,否则会因为过于稀疏,效果很差。