反问题与正则化

不适定的反问题


​在学习过程中,涉及到了数学物理中的反演问题,【正问题】一般可简化为输入,输出和转换系统,即

\[\mathbf{F}x = y\ (x \in \mathbf{X}, y \in \mathbf{Y}) \tag{1} \label{eq1} \]

其中,\(\mathbf{F}\) 表示转换关系(一般为算子或积分,已知),\(x\) 为输入参数,\(y\) 为输出数据,\(\mathbf{X}\)\(\mathbf{Y}\) 为对应的赋范空间。从【反问题】的角度来考虑,求解问题变为

\[x=\mathbf{F}^{-1}y \tag{2} \label{eq2} \]

即已知输出数据,反求出输入参数。经常说问题的适定性对求解存在很大的影响,先从适定性的定义出发,假设问题\(\eqref{eq2}\)是适定(well-posedness)的,则全部满足[1]:

  • \(C_{1}\)\(\forall \ y \in \mathbf{Y}\)\(\exists \ x \in \mathbf{X}\),使得\(\eqref{eq2}\)成立;
  • \(C_{2}\)\(\eqref{eq2}\)的解 \(x\) 是唯一的;
  • \(C_{3}\)\(\eqref{eq2}\)的解 \(x\) 连续依赖于 \(y\)

​要求问题\(\eqref{eq2}\)适定的条件下,等同于要求 \(\mathbf{F}^{-1}\) 存在且连续,然而很多问题都是不满足这个条件的,也就是说不适定 --- (如热传导问题中,对于给定的边界条件,能够得到唯一的一组温度数据;但是一组温度数据不一定对应唯一的一组边界条件)。
许多反问题都是不适定的,普遍存在 \(x\) 不连续依赖于 \(y\) ,并且 \(y\) 的微小扰动会使 \(x\) 产生剧烈波动的问题,也即病态问题,这时我们所求的反问题的解通常是最小二乘意义下的解 \(x^* \in \mathbf{X}\),即

\[arg\ min\ \|{\mathbf{F}x^{*}-y}\|_2^2 \tag{3} \label{eq3} % This is a copyright statement edited by litbro, please ignore it. \]

注:不可将适定性病态性视作一种概念,并且它们没有从属关系,要理解需从各自的定义出发,可大致参考[知乎],[Exchange]

病态(ill-conditioned)问题:当一个问题的输入受到微小的扰动即可引发输出解的剧烈变化时,也即问题的解对输入参数非常敏感,便称它是病态问题

​ 反问题与不适定的联系主要表现在两个方面[2]:1、由于客观条件的限制,反问题中的数据往往是欠定或者过定的,这就导致解的不唯一性或者是解的不存在性;2、反问题的解对数据往往不具有连续依赖性,并且通常这种不连续这是导致反问题病态的原因。在\(\mathbf{F}^{-1}\) 的连续性不满足的情况下,即条件 \(C_3\) 不满足的情况,如何通过一组带有误差的数据稳定求出满足精度的结果,显然非常重要。

例1:考虑一个一维阶跃函数

\[{F}(x) = [x] \ (x \in R^1) \tag{4} \label{eq4} \]

显然 \(\eqref{eq4}\) 并不连续,考虑 \({F}(3.001) = 3\) ,若存在误差 \(\delta\)\(3.001+\delta = 2.999\),那么 \({F}(2.999) = 2\),显然一个很小的误差 \(\delta = -0.002\) 对求解带来了很大的影响,这也表明问题 \(\eqref{eq4}\) 是病态的。

例1合理性待确定,想通过这例子直观的反映出我对这部分内容的理解,如有不合理处或更好的举例还望不吝指教

​为获得最小二乘意义下的解 \(x^*\) ,需要利用一种算法来求解无约束最小化问题 \(\eqref{eq3}\) ,这些算法有:演化类算法,梯度类算法等。这些算法都用各自的搜索方法寻求目标函数的极小值,并且这些算法的搜索效率和准确度在应用中各有优劣。在存在测量误差的情况下,对于适定非病态问题,这些算法大都能很好的求解,但对于不适定病态问题,这些算法就无法足够稳定准确地求解,因此人们发展了正则化方法来处理这些不适定病态问题。

正则化

regularization: (n.) 规范化;正则;规则化;调整

正则化(regularization)这个名词听着总让人摸不着头脑,从中文词义上更是找不出含义。从英文名词的角度看,有添加约束,增加条件的含义。


​在实际反问题中,由于测量误差的无法避免,精确数据 \(y\) 无法得到,只有包含误差的数据 \(y_{\delta} = y + \delta\) ,这时相当于求解问题:

\[\bold{F}x_{\delta}=y_{\delta} \tag{5} \label{eq5} \]

然而这通常是不可解并且极不稳定的,同时 \(\mathbf{F}^{-1}\) 也不可求,因为包含误差的 \(y_{\delta}\) 很有可能不在空间 \(\mathbf{Y}\) 中,又或者解对输入数据非常敏感,使得 \(x_\delta\) 与精确解相差甚远,这时候构造一个正则算子 \(\mathbf{R}(\alpha)\) ,并且满足

\[\lim_{{\alpha} \to 0} \ \mathbf{R}(\alpha) \mathbf{F}x=x \ (\forall x \in \mathbf{X}) \tag{6} \]

这时

\[x^{r}_{\delta}=\mathbf{R}(\alpha)y_{\delta} \ (\alpha >0) \tag{7} \label{eq7} \]

其中 \(x^{r}_{\delta}\) 表示误差数据 \(y_{\delta}\) 在正则算子下的解,并且 \(x^{r}_{\delta}\) 足够接近精确解 \(x\) 。其中 \(\alpha\) 与解的稳定性和准确性密切相关,一般来说 \(\alpha\) 越大稳定性越好,而 \(\alpha\) 越小解的准确度更高,因此选择一个依赖误差水平的正则化参数 \(\alpha(\delta)\) 来合适地平衡稳定性和准确性正是正则化的精妙所在。

例2:考虑一个 Heaviside 函数

\[H(x)= \begin{cases} 1 & x>0 \\ 0 & x \le 0 \end{cases} \tag{8} \label{eq8} \]

\(\eqref{eq4}\) 性质类似,因此 \(\eqref{eq8}\) 还有一个正则化的形式

\[H_r(x)= \begin{cases} 1 & x>{\alpha} \\ -{\frac{3}{4}}({\frac{x}{\alpha}}-{\frac{x^3}{3\alpha^3}})+{\frac{1}{2}} & -\alpha \le x \le \alpha \\ 0 & x < -{\alpha} \end{cases} \tag{9} \label{eq9} \]

函数图如下( 图中 \(\alpha = 0.1\)

\(H(0.001)=1\) 加上误差后 \(H(-0.001)=0\) ,而 \(H_r(-0.001)=0.4925\) ,可以发现正则化后离精确解的准确度明显提高,并且准确度随着 \(\alpha\) 的减小而增加,相应的稳定性却降低了,反之同理。

通过例2可以看出,正则化在某种程度上可以看作是构造另外一个算子,与原算子性质大体一致,却更加稳定,光滑连续。

​为不同的问题选择合适的正则化方法对求解也同样重要,即正则算子 \(\mathbf{R}(\alpha)\) 的选择。这里我只是具体化地阐述了正则化的概念,并没有具体到正则化方法的推导和使用,介绍正则化方法(如经典的Tikhonov正则化)也应该会在另一篇文章里头了吧。

参考文献


[1] 王彦飞. 反演问题的计算方法及其应用 [M]. 北京: 高等教育出版社, 2007.
[2] 郑恩希. 几种不适定问题的正则化方法及其数值实现 [D]. 吉林: 吉林大学, 2009.



最后更新于 2021年1月4日 --- 最初发表于 2020年4月20日
原创作者:LitBro
关于作者:咕咕咕
本文链接: [https://www.cnblogs.com/LitBro/p/12735745.html]
版权声明:本文采用 BY-NC-SA协议,转载或引用请注明出处!
关于后续:碍于学业不精,如有描述不当,还请见谅并非常感谢指出

posted @ 2020-04-20 08:45  LitBro  阅读(2246)  评论(0编辑  收藏  举报