优化问题中的正则项作用

      有些话只有经过思考或者经历，才能真正明白它的含义。            ----题记

      以前看书或者文章的时候，经常看到一个术语正则化项（regularation term），刚开始的时候不明白，后来查阅书籍，找到过答案。但是，仅仅是在印象中停留了一下而已。直到昨天翻看武汉大学出版社出版的黄象鼎等编著的《非线性数值分析的理论与方法》中关于适定性的概念，联系到最近看过的优化目标函数，好像终于明白了正则项的作用，简言之：

     正则项的加入使原来的非适定问题变为适定问题。

     一个例子是，图像去噪的目标函数，如果只考虑一项（去噪后的图像的像素平均值和原图像一致），问题就有无穷多组解。但是，加上正则项（一般的是BV范数）以后，问题的解就变成唯一的了。

      剩下的问题就是什么是适定问题？什么是不适定问题？

      定解问题是适定的，是指它具备如下三个条件：

      （1）问题的解存在；

      （2）问题的解唯一；

      （3）解连续依赖于定解条件，即定解条件（数据）改变很小时，相应的解也改变很小，也就是解具有稳定性。

       不满足上述三个条件之一的问题称为不适定(ill-posed)问题。特别地，对不满足第三个条件的定解问题，称为Hadamard意义下的不适定问题。

 

参考文献：

     （1）《非线性数值分析的理论与方法》，黄象鼎等著，武汉大学出版社，2004年9月。