L1,L2正则化理解-奥卡姆剃刀原理

文章转自：https://blog.csdn.net/u011534057/article/details/51218921

在监督学习中，所涉及到的问题就是“minimize the error while regualrizing the parameters”，也就是说，在规则话参数的同时最小化误差。最小化误差是为了让模型拟合训练数据，而规则话则是为了防止模型过分拟合训练数据。

奥卡姆剃刀原理思想就是在所有可能选择的模型厚葬，选择一个能够很好解释已知数据并且十分简单的模型。从贝叶斯估计的角度来看，规则化项对应模型的先验概率。还有个说法就是规则化就是结构风险最小化策略的实现，在经验风险上加一个正则化项（或者惩罚项）。

 一般来说，监督学习可以看作最小化下面的目标函数：