摘要： 数据预处理技术数据清理：空缺值处理、格式标准化、异常数据清除、错误纠正、重复数据的清除数据集成：将多个数据源中的数据结合起来并统一存储，建立数据仓库的过程实际上就是数据集成。数据变换：平滑、聚集、规范化、最小 最大规范化等数据归约：维归（删除不相关的属性（维））、数据压缩（PCA,LDA,SVD、小... 阅读全文

摘要： 正则化（避免过拟合）如何解决过拟合问题：过拟合问题往往源自过多的特征，通常会考虑两种途径来解决：a) 减少特征的数量：-人工的选择保留哪些特征；-模型选择算法（之后的课程会介绍）b) 正则化-保留所有的特征，但是降低未知量的系数值；-正则化的好处是当特征很多时，每一个特征都会对预测y贡献一份合适的力... 阅读全文