偏差-方差权衡 正则化 过拟合问题

偏差-方差权衡就是通过正则化调整模型的复杂度，正则化是解决共线性（特征间高度相关）的一个很有用的方法，它可以过滤掉数据中的噪声，并最终防止过拟合。正则化背后的概念是引入额外的信息（偏差）来对极端参数权重做出惩罚。最常用 的正则化形式成为L2正则化（L2 regularization），它有时也称作L2收缩（L2 shrinkage）或权重衰减（weight decay），可写作：

λ／2||w||²⁼λ／2∑^m_{j=1 Wj²}

 其中，λ为正则化系数

特征缩放之所以重要，其中一个原因就是正则化，为了使得正则化起作用，需要确保所以特征的衡量标准标准保持统一，