网络优化方法--正则化

网络优化方法--正则化

• 正则化
• • 1.1 正则化介绍
  • 1.2 L1正则项与L2正则项的区别
  • 1.3 正则化程序

正则化

1.1 正则化介绍

  正则化也叫作规范化，通常用得比较多的方式是 L1 正则化和 L2 正则化。L1 和 L2 正则 化的使用实际上就是在普通的代价函数（例如均方差代价函数或交叉熵代价函数）后面加上一 个正则项，例如加上了 L1 正则项的交叉熵为：
E = − 1 N ∑ i = 1