关于目标函数正则项

在machine learning的优化中,经常看到一些目标表达式加上正则项来防止过拟合。

比如:

最后一项就是正则项。

加入正则项会导致weight decay,它使得weight趋向于零,因为对于overfitting现象,weight值会过拟合的高,加入正则项使得优化式和数据妥协,防止过拟合现象。

 

 

posted @ 2012-12-27 10:16  lycan785  阅读(788)  评论(0编辑  收藏  举报