线性逼近

目录

• Orthonormal systems
• Fourier expansion
• The normal equations
• Discrete least square (DLS)
  • Gaussian and Dirac delta functions
  • Reusing the formalism
  • DLS via normal equations
  • DLS via QR decomposition
• Problem

 

Definition 5.1. 给定函数的范数向量空间 \(Y\) 以及子空间 \(X\subset Y\) ，函数 \(\hat{\varphi}\in X\) 称为是 \(f\in Y\) 关于范数 \(\Vert\cdot\Vert\) 从 \(X\) 的最佳逼近 best approximation ，当且仅当

\[\forall \varphi\in X,\quad \Vert f-\hat{\varphi}\Vert \le \Vert f-\varphi\Vert \tag{5.1} \]

 
Definition 5.3. 线性逼近的基本问题 fundamental problem of linear approximation 是寻找 \(f\in Y\) 的最佳逼近 \(\hat{\varphi} = \sum_{i=1}^na_iu_i\) ，其中的 \(n\) 个元素 \(u_1,u_2,\cdots,u_n\in X\subset Y\) 线性无关.

 

Theorem 5.6. 设 \(X\) 为范数向量空间 \((Y,\Vert\cdot\Vert)\) 的有限维子空间，则有

\[\forall y\in Y,\ \exists \hat{\varphi}\in X,\mathrm{s.t.}\ \forall \varphi\in X,\ \Vert\hat{\varphi}-y\Vert\le \Vert\varphi-y\Vert \tag{5.2} \]

\(Proof.\) 给定 \(y\in Y\) ，定义闭球

\[B_y = \{x\in X:\Vert x\Vert\le 2\Vert y\Vert\} \]

我们证明如果存在最佳逼近，那么它一定在 \(B_y\) 中，由于 \(B_y\) 是紧集，并且范数是连续函数，因而由极值定理

\[d:B_y\to\mathbb{R}^+\cup\{0\},\quad x\mapsto \Vert x-y\Vert \]

在 \(B_y\) 上可以到达它的最小值，即证；回到闭球的定义，显然 \(0\in B_y\) ，则 \(y\) 到 \(B_y\) 的距离

\[\mathrm{dist}(y,B_y) = \inf_{x\in B_y}\Vert y-x\Vert\le \Vert y-0\Vert = \Vert y\Vert \]

对 \(z\in X,\ z\notin B_y\) ，有 \(\Vert z\Vert>2\Vert y\Vert\) ，从而

\[\Vert z-y\Vert \ge \Vert z\Vert - \Vert y\Vert > \Vert y\Vert \]

因此最佳逼近不可能在 \(B_y\) 以外.

 

Theorem 5.7. 区间 \([a,b]\) 上的连续函数集 \(\mathcal{C}[a,b]\) 是 \(\mathbb{C}\) 上的内积空间，其内积定义为

\[\left<u,v\right> = \int_a^b\rho(t)u(t)\overline{v(t)}dt \tag{5.3} \]

其中 \(\overline{v(t)}\) 为 \(v(t)\) 的共轭，权函数 weight function \(\rho(x)\in\mathcal{C}[a,b]\) 满足 \(\rho(x)>0,\ x\in(a,b)\) 。进一步， \(\mathcal{C}[a,b]\) 有

\[\Vert u\Vert_2 = \left(\int_a^b\rho(t)|u(t)|^2dt\right) \tag{5.4} \]

是 \(\mathbb{R}\) 上的范数向量空间.

 

Definition 5.8. \(\mathcal{C}[a,b]\) 上的最小二乘逼近 least-square approximation 是带有上述范数的集的最佳逼近问题.

 

Orthonormal systems

Definition 5.9. 内积空间 \(X\) 的子集 \(S\) 称为是正交化的 orthonormal 若

\[\forall u,v\in S,\quad \left<u,v\right> = \left\{ \begin{aligned} &1,\quad u = v\\ &0,\quad u\neq v \end{aligned} \right. \tag{5.5} \]

这意味着正交系统一开始就是标准化的.

 

Theorem 5.12. 非零正交元素 \(u_1,u_2,\cdots,u_n\) 的任意有限子集线性无关.

 

Definition 5.13. 格拉姆-施密特过程 Gram-Schmidt process 接收一个有限或无限线性无关列 \((u_1,u_2,\cdots)\) ，通过如下方式

\[v_{n+1} = u_{n+1} - \sum_{k=1}^{n}\left<u_{n+1},u_k^*\right>u_k^*\\ u_{n+1}^* = v_{n+1}/\|v_{n+1}\| \tag{5.6} \]

输出两个其它序列 \((v_1,v_2,\cdots)\) 和 \((u_1^*,u_2^*,\cdots)\) ；其中 \(v_1 = u_1,\ u_1^* = v_1/\|v_1\|\) .

 

Theorem 5.14. 对有限或无限线性无关列 \((u_1,u_2,\cdots)\) ，格拉姆-施密特过程得到常数

\[\begin{matrix} a_{11}\\ a_{21} & a_{22}\\ a_{31} & a_{32} & a_{33}\\ \vdots & \vdots & \vdots \end{matrix} \tag{5.7} \]

使得其中 \(a_{kk} > 0\) ，并且有 \((u_1^*,u_2^*,\cdots)\) 满足

\[\begin{aligned} u_1^* &= a_{11}u_1\\ u_2^* &= a_{21}u_1 + a_{22}u_2\\ u_3^* &= a_{31}u_1 + a_{32}u_2 + a_{33}u_3\\ &\vdots \end{aligned} \tag{5.8} \]

是正交的.

\(Proof.\) 利用归纳法容易证明。此定理说明了正交化前后两个序列的变换关系，如果忽略无限集的情况，有

\[\mathbf{u}^* = A\mathbf{u} \]

其中 \(A\) 是下三角阵，并且对角线元素均非 \(0\) .

 

Corollary 5.16. 对有限或无限线性无关列 \((u_1,u_2,\cdots)\)​ ，存在常数

\[\begin{matrix} b_{11}\\ b_{21} & b_{22}\\ b_{31} & b_{32} & b_{33}\\ \vdots \end{matrix} \tag{5.7} \]

其中 \(b_{kk} > 0\) ，以及正交集 \((u_1^*,u_2^*,\cdots)\) 满足

\[\begin{aligned} &u_1 = b_{11}u_1^*\\ &u_2 = b_{21}u_1^* + b_{22}u_2^*\\ &u_3 = b_{31}u_1^* + b_{32}u_2^* + b_{33}u_3^*\\ &\vdots \end{aligned} \tag{5.8} \]

\(Proof.\) 我们已经有 \(\mathbf{u}^* = A\mathbf{u}\) ，并且 \(A\) 是下三角阵，对角线元素均非 \(0\) ，因此 \(A\) 有逆 \(B=A^{-1}\) 也为下三角阵，即证.

 

Corollary 5.17. 对 \(i=1,2,\cdots,n-1\) ，有 \(\left<u_n^*,u_i\right> = 0\) .

\(Proof.\) 这是一个不太直观的推论，它说明每一个正交项和它之前的非正交项是正交的。事实上，由于 \(u_i\) 可以表示为前 \(n-1\) 个正交项的线性组合，即证.

 

Definition 5.18. 格拉姆-施密特过程应用于内积空间中的线性无关单项式集 \((1,x,x^2,\cdots)\) ，下面是经典的正交多项式 classic orthonormal polynomials

\[\begin{matrix} \hline & a & b & \rho(x)\\ \hline 第一类切比雪夫多项式 & -1 & 1 & \frac{1}{\sqrt{1-x^2}}\\ \hline 第二类切比雪夫多项式 & -1 & 1 & \sqrt{1-x^2}\\ \hline 勒让德多项式 & -1 & 1 & 1\\ \hline 雅可比多项式 & -1 & 1 & (1-x)^{\alpha}(1+x)^{\beta}\\ \hline 拉盖尔多项式 & 0 & +\infty & x^{\alpha}e^{-x}\\ \hline 埃尔米特多项式 & -\infty & +\infty & e^{-x^2}\\ \hline \end{matrix} \]

其中 \(\alpha,\beta > -1\) ，并且使用内积

\[\left<u,v\right> = \int_a^b\rho(t)u(t)\overline{v(t)}dt \]

 

Fourier expansion

Definition 5.21. 有限或无限正交集 \((u_1^*,u_2^*,\cdots)\) 对任意 \(\omega\) 的正交展开 orthogonal expansion 或傅里叶展开 Fourier expansion 是级数

\[\sum_{n=1}^{+\infty}\left<\omega, u_i^*\right>u_i^* \tag{5.9} \]

其中 \(\left<\omega, u_i^*\right>\) 称为 \(\omega\) 的傅里叶系数 Fourier coefficients ，项 \(\left<\omega, u_i^*\right>u_i^*\) 是 \(\omega\) 在 \(u_i^*\) 上的投影 projection .

 

Theorem 5.23. 令 \(u_1,u_2,\cdots,u_n\) 线性无关，而 \(u_i^*\) 为 \(u_i\) 通过格拉姆-施密特过程的正交化。若 \(\omega = \sum_{i=1}^na_iu_i\) ，则

\[\omega = \sum_{i=1}^n\left<\omega, u_i^*\right>u_i^* \tag{5.10} \]

\(Proof.\) 注意到 \(u_i\) 可以被 \(u_i^*\) 线性表示，因此不妨设

\[\omega = \sum_{k=1}^nc_ku_k^* \]

我们直接将 \(\omega\) 与 \(u_i^*\) 做内积得到

\[\forall k=1,2,\cdots,n,\quad \left<\omega, u_k^*\right> = c_k \]

代回即证.

 

Theorem 5.24 (Minimum properties of Fourier expansions). 令 \(u_1^*,u_2^*,\cdots\) 为正交系统，取任意的 \(\omega\) ，则

\[\left\Vert\omega - \sum_{i=1}^N\left<\omega, u_i^*\right>u_i^*\right\Vert \le \left\Vert\omega - \sum_{i=1}^Na_iu_i^*\right\Vert \tag{5.11} \]

其中 \(a_i\) 为任意常数.

\(Proof.\) 利用内积定义展开右式

\[\left\Vert\omega - \sum_{i=1}^Na_iu_i^*\right\Vert^2 = \left<\omega - \sum_{i=1}^Na_iu_i^*,\omega - \sum_{i=1}^Na_iu_i^*\right> \]

需要注意内积的共轭交换律，利用正交项 \(\left<u_i^*,u_j^*\right>\) 的特性，最后整理得到

\[\left\Vert\omega - \sum_{i=1}^Na_iu_i^*\right\Vert^2 = \Vert\omega\Vert^2 -\sum_i\left|\left<\omega,u_i^*\right>\right|^2 + \sum_i\left|a_i-\left<\omega,u_i^*\right>\right|^2 \]

当 \(a_i = \left<\omega,u_i^*\right>\) 时达到最小值.

 

Corollary 5.25. 令 \(u_1,u_2,\cdots,u_n\) 线性无关，则线性逼近任意向量 \(\omega\) 的基本问题有最佳逼近

\[\hat{\varphi} = \sum_k\left<\omega,u_k^*\right>u_k^* \tag{5.12} \]

其中 \(u_i^*\) 为 \(u_i\) 通过格拉姆-施密特过程的正交化，则误差范数为

\[\left\Vert\omega - \hat{\varphi}\right\Vert^2 = \min_{a_k}\left\Vert\omega - \sum_{k=1}^na_ku_k\right\Vert^2 = \Vert\omega\Vert^2 -\sum_{k=1}^n\left|\left<\omega,u_k^*\right>\right|^2 \tag{5.13} \]

\(Proof.\) 这是上面定理推导过程得到的结论。此定理说明对 \(\omega\) 的逼近误差的平方是它自身的长度的平方减去在各分量投影的长度的平方，我们想象一个 \(u_k^*\) 构成的空间坐标系，利用勾股定理，容易发现其中向量长度和各分量长度的平方关系。也就是说，如果 \(\omega\) 在这个坐标系中，那么两者恰好抵消为 \(0\) ，否则剩下的部分就是误差.

 

Corollary 5.26 (Bessel inequality). 若 \(u_1^*,u_2^*,\cdots,u_N^*\) 正交，则对任意 \(\omega\) 有

\[\sum_{k=1}^N\left|\left<\omega,u_k^*\right>\right|^2 \le \Vert\omega\Vert^2 \tag{5.14} \]

\(Proof.\) 这是上面推论的直接结论。我们发现向量长度平方不小于各分量长度的平方和.

 

Corollary 5.27. 格拉姆-施密特过程满足

\[\forall n\in\mathbb{N}^+,\quad \Vert v_{n+1}\Vert^2 = \Vert u_{n+1}\Vert^2 - \sum_{k=1}^n\left|\left<u_{n+1},u_k^*\right>\right|^2 \tag{5.15} \]

\(Proof.\) 这也是直接推论。我们可以把 \(v_{n+1}\) 看作用 \(u_1^*,u_2^*,\cdots,u_n^*\) 逼近 \(u_{n+1}\) 时的误差.

 

The normal equations

Theorem 5.29. 令 \(u_1,u_2,\cdots,u_n\in X\) 线性无关， 而 \(u_i^*\) 为 \(u_i\) 通过格拉姆-施密特过程的正交化，则对任意元素 \(\omega\) 有

\[\forall j=1,2,\cdots,n,\quad \left(\omega - \sum_{k=1}^n\left<\omega, u_k^*\right>u_k^*\right) \perp u_j^* \tag{5.16} \]

\(Proof.\) 直接作内积即可；也可以考虑令 \(u_{n+1} = \omega\) ，若 \(\omega\in X\) ，显然；否则可将上式看作一次正交化过程，由 Corollary 5.17 即证。此定理说明正交逼近的剩余和正交项都是正交的.

 

Corollary 5.30. 令 \(u_1,u_2,\cdots,u_n\in X\) 线性无关， 若 \(\hat{\varphi}=\sum_{k=1}^na_ku_k\) 是对 \(\omega\) 的最佳线性逼近，则

\[\forall j=1,2,\cdots,n,\quad \left(\omega - \hat{\varphi}\right) \perp u_j \tag{5.16} \]

\(Proof.\) 已经证明最佳逼近是

\[\hat{\varphi} = \sum_{k=1}^n\left<\omega, u_k^*\right>u_k^* \]

利用 \(u_k\) 和 \(u_k^*\) 的变换关系，把 \(u_j\) 分解为 \(u_k^*\) 的线性组合，再由 Theorem 5.29 即证.

 

Definition 5.31. 令 \(u_1,u_2,\cdots,u_n\) 为内积空间中的序列，则 \(n\times n\) 矩阵

\[\begin{aligned} G &= G(u_1,u_2,\cdots,u_n) = \left(\left<u_i,u_j\right>\right)\\ &= \left( \begin{matrix} \left<u_1,u_1\right> & \left<u_1,u_2\right> & \cdots & \left<u_1,u_n\right>\\ \left<u_2,u_1\right> & \left<u_2,u_2\right> & \cdots & \left<u_2,u_n\right>\\ \vdots & \vdots & \ddots & \vdots\\ \left<u_n,u_1\right> & \left<u_n,u_2\right> & \cdots & \left<u_n,u_n\right>\\ \end{matrix} \right) \end{aligned} \tag{5.17} \]

称为 \(u_1,u_2,\cdots,u_n\) 的格拉姆矩阵 Gram matrix ，其行列式

\[g = g(u_1,u_2,\cdots,u_n) = \det\left(\left<u_i,u_j\right>\right) \tag{5.18} \]

称为格拉姆行列式 Gram determinant .

 

Lemma 5.32. 令 \(\omega_i = \sum_{j=1}^na_{ij}u_j,\ i=1,2,\cdots,n\) ，记 \(A=(a_{ij})\) 及其共轭转置 \(A^H=\left(\overline{a_{ij}}\right)\) ，则有

\[G(\omega_1,\omega_2,\cdots,\omega_n) = AG(u_1,u_2,\cdots,u_n)A^H\\ \tag{5.19} g(\omega_1,\omega_2,\cdots,\omega_n) = |\det A|^2g(u_1,u_2,\cdots,u_n) \]

\(Proof.\) 直接展开验证即可，需要注意以下性质

\[\overline{z+\omega} = \overline{z} + \overline{\omega},\quad \overline{z\omega} = \overline{z}\overline{\omega} \]

另外有 \(\overline{\det A} = \det A^H\) .

 

Theorem 5.33. 对非零元素 \(u_1,u_2,\cdots,u_n\in X\) 有

\[0\le g(u_1,u_2,\cdots,u_n)\le \prod_{k=1}^n\|u_k\|^2 \tag{5.20} \]

其中左边等式成立当且仅当 \(u_1,u_2,\cdots,u_n\) 线性相关；右边等式成立当且仅当 \(u_1,u_2,\cdots,u_n\) 正交.

\(Proof.\) 先考虑 \(u_1,u_2,\cdots,u_n\) 线性相关，则有 \(\sum_ic_iu_i = 0\) ，其中至少有 \(c_k\neq 0\) ，构造

\[\omega_j = \left\{ \begin{aligned} &\sum_ic_iu_i = 0,\quad &j=k\\ &u_j,\quad &j\neq k \end{aligned} \right. \]

得到 \(\omega_1,\cdots,\omega_n\) ，显然有 \(g(\omega_1,\omega_2,\cdots,\omega_n) = 0\) ，同时有 \(\mathbf{\omega} = C\mathbf{u}\) ，其中

\[C = \left( \begin{matrix} 1 & 0 & \cdots & 0 & \cdots & 0\\ 0 & 1 & \cdots & 0 & \cdots & 0\\ \vdots & \vdots & \ddots & \vdots & \ddots & \vdots\\ c_1 & c_2 & \cdots & c_k & \cdots & c_n\\ \vdots & \vdots & \ddots & \vdots & \ddots & \vdots\\ 0 & 0 & \cdots & 0 & \cdots & 1 \end{matrix} \right) \]

显然有 \(\det C = c_k\neq 0\) ，从而 \(g(\omega_1,\omega_2,\cdots,\omega_n) = |\det C|^2g(u_1,u_2,\cdots,u_n)\) ，只能有 \(g(u_1,u_2,\cdots,u_n) = 0\) ；

若 \(u_1,u_2,\cdots,u_n\) 线性无关，则可进行正交化为 \(u_1^*,u_2^*,\cdots,u_n^*\) ，并且有下三角阵 \(A\) 使得

\[u_k^* = \sum_{i=1}^ka_{ki}u_i,\quad a_{kk} > 0,\quad g(u_1^*,u_2^*,\cdots,u_n^*) = 1,\quad \det A = \prod_{k=1}^na_{kk} \]

这意味着

\[g(u_1,u_2,\cdots,u_n) = \prod_{k=1}^n\dfrac{1}{a_{kk}^2} > 0 \]

即若 \(u_1,u_2,\cdots,u_n\) 线性无关，不等式严格成立，从而左边的不等式得证；

注意到右边乘积看上去是正交列的情况，不妨设 \(u_1,u_2,\cdots,u_n\) 正交，则等式显然成立；

假设右边等式成立，则 \(u_1,u_2,\cdots,u_n\) 必然线性无关，从而有

\[\prod_{k=1}^n\|u_k\|^2 = g(u_1,u_2,\cdots,u_n) = \prod_{k=1}^n\dfrac{1}{a_{kk}^2} \]

在正交化过程中，有 \(\|v_k\| = \frac{1}{a_{kk}}\) ，每进行一次正交化，进行一次对比，得到 \(\|u_k\| = \|v_k\|\) ，根据 Corollary 5.28 有

\[\Vert v_{k}\Vert^2 = \Vert u_{k}\Vert^2 - \sum_{i=1}^{k-1}\left|\left<u_{k},u_i^*\right>\right|^2\quad \Longrightarrow\quad \sum_{i=1}^{k-1}\left|\left<u_{k},u_i^*\right>\right|^2 = 0 \]

从而 \(u_1,u_2,\cdots,u_n\) 正交，即证.

 

Theorem 5.34. 令 \(u_1,u_2,\cdots,u_n\) 线性无关， \(\hat{\varphi}=\sum_{i=1}^na_iu_i\) 为 \(\omega\) 的最佳线性逼近，则系数 \(\mathbf{a} = [a_1,a_2,\cdots,a_n]^T\) 由线性系统的正规方程 normal equations

\[G(u_1,u_2,\cdots,u_n)^T\mathbf{a} = \mathbf{c} \tag{5.21} \]

唯一确定，其中 \(\mathbf{c} = [\left<\omega,u_1\right>, \left<\omega,u_2\right>, \cdots, \left<\omega,u_n\right>]^T\) .

\(Proof.\) 此定理给出了通过待定系数给出最佳逼近，通过正规方程计算系数的直接方法。由 Corollary 5.30 我们有

\[\left(\omega - \sum_{i=1}^na_iu_i\right) = \left(\omega - \hat{\varphi}\right) \perp u_j \]

这意味着

\[\left<\omega,u_j\right> = \sum_{i=1}^na_i\left<u_i,u_j\right> \]

因此它们构成上面的正规方程，即证.

 

Note. 使用正规方程逼近给定的函数 \(\omega\)

我们有线性无关列 \(u_1,\cdots,u_n\) ，以及权函数 \(\rho(x)\) ，需要有形式 \(\omega = \sum_ka_ku_k\) ，首先推导 Gram 矩阵 \(G(u_1,u_2,\cdots,u_n)\) ，考虑

\[\mathbf{c} = \left[\left<\omega,u_1\right>, \left<\omega,u_2\right>, \cdots, \left<\omega,u_n\right>\right]^T \]

然后求解线性方程组 \(G^T\mathbf{a} = \mathbf{c}\) 即可.

 

Discrete least square (DLS)

Gaussian and Dirac delta functions

Definition 5.37. 高斯函数 Gaussian function 有形式

\[f(x) = a\exp(-\frac{(x-b)^2}{2c^2}) \tag{5.22} \]

其中 \(a\in\mathbb{R}^+\) 是曲线的峰值， \(b\in\mathbb{R}\) 为峰的中心位置， \(c\in\mathbb{R}^+\) 为标准差或高斯均方根宽度 Gaussian RMS (root mean square width) .

 

Lemma 5.38. 高斯函数的积分为

\[\int_{-\infty}^{+\infty}a\exp(-\frac{(x-b)^2}{2c^2})dx = ac\sqrt{2\pi} \tag{5.23} \]

\(Proof.\) 利用变换技巧

\[\begin{aligned} \left(\int_{-\infty}^{+\infty}e^{-x^2}dx\right)^2 &= \int_{-\infty}^{+\infty}e^{-x^2}dx \cdot \int_{-\infty}^{+\infty}e^{-y^2}dy\\ &= \int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}e^{-(x^2+y^2)}dxdy\\ &= \int_{0}^{2\pi}\int_{0}^{+\infty}e^{-r^2}rdrd\theta = \pi \end{aligned} \]

容易证明.

 

Definition 5.39. 正态分布 normal distribution 或高斯分布 Gaussian distribution 是连续型概率分布，有形式

\[f_{\mu,\sigma} = \dfrac{1}{\sqrt{2\pi}\sigma}\exp(-\frac{(x-\mu)^2}{2\sigma^2}) \tag{5.24} \]

其中 \(\mu\) 为期望 expectation ， \(\sigma\) 为标准差 standard deviation .

 

Definition 5.40. 狄拉克函数 Dirac delta function \(\delta(x-\overline{x})\) 为

\[\delta(x-\overline{x}) = \lim_{\epsilon\to0}\phi_{\epsilon}(x-\overline{x}) \tag{5.25} \]

其中 \(\phi_{\epsilon}(x-\overline{x})=f_{\overline{x},\epsilon}\) 是正态分布.

 

Lemma 5.41. 狄拉克函数满足

\[\begin{aligned} \delta(x-\overline{x}) &= \left\{ \begin{aligned} &+\infty,\quad &x=\overline{x}\\ &0,\quad &x\neq\overline{x} \end{aligned} \right.\\ \int_{-\infty}^{+\infty}\delta(x-\overline{x})dx &= 1 \end{aligned} \tag{5.26} \]

 

Lemma 5.42 (Sifting property of \(\delta\)). 若 \(f:\mathbb{R}\to\mathbb{R}\) 连续，则

\[\int_{-\infty}^{+\infty}\delta(x-\overline{x})f(x)dx = f(\overline{x}) \tag{5.27} \]

\(Proof.\) 考虑到连续性，我们取一个小区间 \(I_{\epsilon} = [\overline{x}-\epsilon,\overline{x}+\epsilon]\) ，则 \(f\) 在其上有界 \([m,M]\) ，利用狄拉克函数的性质

\[\int_{-\infty}^{+\infty}\delta(x-\overline{x})f(x)dx = \int_{\overline{x}-\epsilon}^{\overline{x}+\epsilon}\delta(x-\overline{x})f(x)dx \]

再由积分中值定理有

\[\int_{\overline{x}-\epsilon}^{\overline{x}+\epsilon}\delta(x-\overline{x})f(x)dx \in \left[m\int_{\overline{x}-\epsilon}^{\overline{x}+\epsilon}\delta(x-\overline{x})dx,M\int_{\overline{x}-\epsilon}^{\overline{x}+\epsilon}\delta(x-\overline{x})dx\right] = [m,M] \]

当 \(\epsilon\) 足够小， \(f\) 的界逐渐靠近 \(f(\overline{x})\) ，因此有

\[\lim_{\epsilon\to0}\int_{\overline{x}-\epsilon}^{\overline{x}+\epsilon}\delta(x-\overline{x})f(x)dx = f(\overline{x})\lim_{\epsilon\to0}\int_{\overline{x}-\epsilon}^{\overline{x}+\epsilon}\delta(x-\overline{x})dx = f(\overline{x}) \]

 

Definition 5.43. 亥维赛德函数 Heaviside function 或阶梯函数 step function 为

\[H(x) = \left\{ \begin{aligned} &1,\quad x\le 0\\ &0,\quad x<0 \end{aligned} \right. \tag{5.28} \]

 

Lemma 5.44. 狄拉克函数和阶梯函数有关系

\[\int_{-\infty}^x\delta(t)dt = H(x) \tag{5.29} \]

\(Proof.\) 由定义

\[\delta(t) = \left\{ \begin{aligned} &+\infty,\quad &t=0\\ &0,\quad &t\neq0 \end{aligned} \right. \]

则显然成立.

 

Reusing the formalism

Definition 5.45. 定义函数 \(\lambda:\mathbb{R}\to\mathbb{R}\)

\[\lambda(t) = \left\{ \begin{aligned} &0,\quad &t\in(-\infty,a)\\ &\int_{a}^t\rho(\tau)d\tau,\quad &t\in[a,b]\\ &\int_{a}^b\rho(\tau)d\tau,\quad &t\in(b,+\infty) \end{aligned} \right. \tag{5.30} \]

则对应的连续测度 continuous measure \(d\lambda\) 可以定义为

\[d\lambda = \left\{ \begin{aligned} &\rho(t)dt,\quad &t\in[a,b]\\ &0,\quad &\mathrm{otherwise} \end{aligned} \right. \tag{5.31} \]

则连续测度的支集为区间 \([a,b]\) .

 

Definition 5.46. 点集 \(\{t_1,t_2,\cdots,t_N\}\) 上的离散测度 discrete measure 或狄拉克测度 Dirac measure \(d\lambda\) 只在 \(t_i\) 处非零，且取值为 \(\rho_i\) ，点集 \(\{t_1,t_2,\cdots,t_N\}\) 就是它的支集.

 

Lemma 5.47. 对函数 \(u:\mathbb{R}\to\mathbb{R}\) 定义

\[\lambda(t) = \sum_{i=1}^N\rho_iH(t-t_i) \tag{5.32} \]

则我们有

\[\int_{\mathbb{R}}u(t)d\lambda = \sum_{i=1}^N\rho_iu(t_i) \tag{5.33} \]

\(Proof.\) 由定义及 Lemma 5.42 和 Lemma 5.44 有

\[\int_{\mathbb{R}}u(t)d\lambda = \int_{\mathbb{R}}\sum_{i=1}^N\rho_i\delta(t-t_i)u(t)dt = \sum_{i=1}^N\rho_i\int_{\mathbb{R}}\delta(t-t_i)u(t)dt = \sum_{i=1}^N\rho_iu(t_i) \]

 

DLS via normal equations

Note. 我们说明使用正规方程推导离散形式的最小二乘法问题

已知有 \(k\) 个坐标点 \(x_1,\cdots,x_k\) 和 \(y_1,\cdots,y_k\) ，寻找 \(n\) 次多项式 \(p(x) = \sum_{j=0}^na_jx^j\) 使得

\[\sum_{i=1}^k\left(y_i-\sum_{j=0}^na_ix_i^j\right)^2 \]

达到最小值；这里我们令 \(n=2\) ，求解最小二乘问题。

注意到线性无关列 (\(1,x,x^2)\) ，对所有可能的逼近，傅里叶展开式就是最佳逼近，因此首先推导 \(G(1,x,x^2)\) ，然后考虑

\[\mathbf{c} = \left[\left<y,1\right>, \left<y,x\right>,\left<y,x^2\right>\right]^T \]

这里我们使用带有权 \(\rho \equiv 1\) 的离散内积

\[\left<u,v\right> = \sum_{i=1}^ku_iv_i\ \Rightarrow\ \left<x^p,x^q\right> = \sum_{i=1}^kx_i^{p+q},\ \left<y,x^j\right> = \sum_{i=1}^kx_i^jy_i \]

然后求解线性方程组 \(G^T\mathbf{a} = \mathbf{c}\) 即可.

 

DLS via QR decomposition

Definition 5.49. 矩阵 \(A\in\mathbb{R}^{n\times n}\) 正定当且仅当 \(A^TA = I\) .

 

Definition 5.50. 矩阵 \(A\) 是上三角 upper triangular 当且仅当

\[\forall i,j,\quad i>j\ \Rightarrow\ a_{i,j} = 0 \tag{5.34} \]

类似的，矩阵 \(A\) 是下三角 lower triangular 当且仅当

\[\forall i,j,\quad i<j\ \Rightarrow\ a_{i,j} = 0 \tag{5.35} \]

 

Theorem 5.51 (QR factorization). 对任意矩阵 \(A\in\mathbb{R}^{m\times n}\) ，存在正定矩阵 \(Q\in\mathbb{R}^{m\times m}\) 和上三角阵 \(R\in\mathbb{R}^{m\times n}\) 使得 \(A=QR\) .

\(Proof.\) 此定理在数值代数中已经证明，在此不再重复.

 

Lemma 5.52. 正定矩阵不改变它作用的向量的 \(2\) 范数.

\(Proof.\) 由定义有

\[\forall \mathbf{x}\in\mathrm{dom}(Q),\quad \|Q\mathbf{x}\|_2^2 = \mathbf{x}^TQ^TQ\mathbf{x} = \mathbf{x}^T\mathbf{x} = \|\mathbf{x}\|_2^2 \]

 

Theorem 5.53. 考虑线性系统 \(A\mathbf{x} = \mathbf{b}\) ，其中 \(A\in\mathbb{R}^{m\times n},\ m\ge n\) ，则离散最小二乘问题

\[\min_{\mathbf{x}\in\mathbb{R}^n}\|Ax-b\|_2^2 \tag{5.36} \]

有解 \(\mathbf{x}^*\) ，满足

\[R_1\mathbf{x}^* = \mathbf{c} \tag{5.37} \]

其中 \(R_1\in\mathbb{R}^{n\times n},\ \mathbf{c}\in\mathbb{R}^n\) 是由 QR 分解得到的

\[Q^TA = R = \left( \begin{matrix} R_1\\ 0 \end{matrix} \right),\quad Q^T\mathbf{b} = \left( \begin{matrix} \mathbf{c}\\ \mathbf{r} \end{matrix} \right) \tag{5.38} \]

进一步，最小值为 \(\|\mathbf{r}\|_2^2\) .

\(Proof.\) 对任意 \(\mathbf{x}\in\mathbb{R}^n\) ，我们有

\[\|A\mathbf{x}-\mathbf{b}\|_2^2 = \|Q^TA\mathbf{x}-Q^T\mathbf{b}\|_2^2 = \|R_1\mathbf{x}-\mathbf{c}\|_2^2 + \|\mathbf{r}\|_2^2 \]

显然即证.

 

Problem

\(\mathrm{II}.\) 第一类切比雪夫多项式的正规化

\[\begin{aligned} u_{1}^{*} &= \dfrac{1}{\sqrt{\pi}}\\ u_{2}^{*} &= \sqrt{\dfrac{2}{\pi}}x\\ u_{3}^{*} &= \sqrt{\dfrac{8}{\pi}}(x^2-\dfrac{1}{2}) \end{aligned} \]

其中有权函数 \(\rho = 1/\sqrt{1-x^2}\) ，初始线性无关列 \(1,x,x^2\) .