为什么l1和l2能防止过拟合
模型的先验概率:在不考虑数据的前提下,模型本身得到有效结果的概率。
复杂模型对变量之间的关系做出了许多设定,相比于简单模型,总的来说天然地难以满足,也就是先验概率低。
什么是正则化
正则化是结构风险最小化策略的实现,在经验风险上加一个正则项或罚项,正则项一共有两种L1正则化和L2正则化,或者L1范数和L2范数。对于线性回归模型,使用L1正则化的模型叫做Lasso回归;使用L2正则化的模型叫做Ridge回归(岭回归)
为什么从贝叶斯的观点看来L1是Laplace先验,Gauss(高斯)先验会导出L2正则化?
事实上如果从贝叶斯的观点,所有的正则化都是来自于对参数分布的先验。