摘要：
''' 集合算法: 1.正向激励 2.自助聚合：每次从总样本矩阵中以有放回抽样的方式随机抽取部分样本构建决策树，这样形成多棵包含不同训练样本的决策树， 以削弱某些强势样本对模型预测结果的影响，提高模型的泛化特性。 3.随机森林：在自助聚合的基础上，每次构建决策树模型时，不仅随机选择部分样本，而且还随机... 阅读全文
摘要：
''' 决策树： 基本算法原理： 核心思想：相似的输入必会产生相似的输出。例如预测某人薪资： 年龄：1-青年，2-中年，3-老年 学历：1-本科，2-硕士，3-博士 经历：1-出道，2-一般，3-老手，4-骨灰 ... 阅读全文
摘要：
''' 多项式回归：若希望回归模型更好的拟合训练样本数据，可以使用多项式回归器。 一元多项式回归： 数学模型：y = w0 + w1 * x^1 + w2 * x^2 + .... + wn * x^n 将高次项看做对一次项特征的扩展得到： y = w0 + w1 * x1 + w2 * x2 + .... + wn... 阅读全文
摘要：
''' 岭回归： 普通线性回归模型使用基于梯度下降的最小二乘法，在最小化损失函数的前提下，寻找最优模型参数， 在此过程中，包括少数异常样本在内的全部训练数据都会对最终模型参数造成程度相等的影响， 异常值对模型所带来影响无法在训练过程中被识别出来。为此，岭回归在模型迭代过程所依据的损失函数中增加了正则项， ... 阅读全文