摘要: 首先述说什么是正则化,正则化是结构风险最小化策略的实现,是在经验风险上加上一个正则项(regularizer)或罚项(penalty term)。是模型选择的典型方法。正则化项一般是模型复杂度的单调递增函数,模型越复杂,正则化值越大。比较常用的正则化项有模型参数向量的范数,l1-norm、l2-norm......第1项经验风险较小的模型可能比较复杂(非零参数多),这是第2项的模型复杂度会较大。正则化的作用是选择经验风险与模型复杂度同时较小的模型。用奥卡姆剃刀原理解释:在模型选择时,能够很好地解释已知数据并且十分简单的模型才是应该选择的模型。从贝叶斯估计角度来看:正则项对应于模型的先验概率,可 阅读全文
posted @ 2014-03-24 16:03 DeepCoding 阅读(7757) 评论(0) 推荐(0) 编辑