为什么l1和l2能防止过拟合

模型的先验概率:在不考虑数据的前提下,模型本身得到有效结果的概率。

复杂模型对变量之间的关系做出了许多设定,相比于简单模型,总的来说天然地难以满足,也就是先验概率低。

什么是正则化

正则化是结构风险最小化策略的实现,在经验风险上加一个正则项或罚项,正则项一共有两种L1正则化和L2正则化,或者L1范数和L2范数。对于线性回归模型,使用L1正则化的模型叫做Lasso回归;使用L2正则化的模型叫做Ridge回归(岭回归)

为什么从贝叶斯的观点看来L1是Laplace先验,Gauss(高斯)先验会导出L2正则化?

事实上如果从贝叶斯的观点,所有的正则化都是来自于对参数分布的先验。

posted @ 2020-05-09 14:32  ZECDLLG  阅读(332)  评论(0编辑  收藏  举报