Numerical Approximation Chapter 6 Notes

Weierstrass theorem

approximation之间也有高低，所以我们在compact subset里面会有best approximation. 但是以polynomial interpolation为例，随着不断选更多的Chebyshev interpolation points，对应的插值多项式次数越来越高的同时也会在插值点以外的地方越来越靠近函数本身。这种情况下很明显我们没办法在\(\mathscr P\)里面找到best approximation（虽然我们可以在任意\(\mathscr P_n\)里面找到best，但是\(n\rightarrow\infty\)并不收敛），这种情况下我们引入Weierstrass theorem来刻画这种能不断逼近的过程。

某种程度上看这相当于一个收敛序列，但是limit point相当于不在\(\mathscr P\)内部

考虑这种考虑函数之间误差收敛的关系我们实际上也只能用\(\infty\)-norm. 其他的有可能会出现偏重.

Theorem 6.1 Weierstrass任意精度的多项式近似
对\(f\in\mathscr L[a,b]\)，以及任意小的\(\epsilon>0\)，总存在algebraic polynomial(polynomial approximation) \(p(x)\) s.t. \(\vert f-p\vert_{\infty}\leq \epsilon\).

Proof. 使用下面两节引入的概念证明.

6.2

monotone operator：单调算子
总之其实主要是保序. 对于\(f,g\in\mathscr L[a,b]\)，若

\[f(x)\geq g(x),a\leq x\leq b \]

则

\[(Lf)(x)\geq(Lg)(x),a\leq x\leq b \]

Theorem 6.2 linear monotone operator下函数一致收敛的充分条件
考虑\(L_i\)表示一组linear monotone operator(\(\mathscr L[a,b]\rightarrow \mathscr L[a,b]\))，若:

• \(f(x)=1\)
• \(f(x)=x\)
• \(f(x)=x^2\)

下\(L_{i}f\)一致收敛到\(f\)，那么任意的\(f\in\mathscr L[a,b]\)都有\(L_{i}f\)一致收敛到\(f\).

note. 整体证明框架大致是用quadratic function来夹逼.

• 为什么要linear?
  因为要\(q_u(\zeta)-q_1(\zeta)\)is small \(\Rightarrow (T_{i}q_u)(\zeta)-(T_{i}q_{1})(\zeta)\) is small. 或者某种程度上来讲是提供一种简便的能让两个一起任意小的法子.
  另外，方便从给定的\(\begin{pmatrix}1 & x & x^2\end{pmatrix}\) 出发直接做quadratic function.
• 为什么要monotone?
  保证上了operator之后还能夹住.
• 为什么要\(x^2\)？
  quadratic function方便夹住任意一点，同时在一个邻域内能整个在给定\(f\)之上和之下从而夹住. 其实理论上看比如\(x^3\)之类的也可以.
  proof. 上面解释的都差不多了，考虑任意定点\(a\leq \zeta\leq b\)，对任意小\(\epsilon>0\)可以构造quadratic function\(q_u(\zeta)\)和\(q_1(\zeta)\) s.t. 存在\(\delta>0\) \((T_{i}q_{1})(x)<(T_{i}q_{u})(x)\) 且\((T_{i}q_{u})(x)-(T_{i}q_{1})(x)<\epsilon\)对所有\(\zeta-\delta<x<\zeta+\delta\). 所以\(\lim_{n\rightarrow\infty}(L_{n}f)(\zeta)=f(\zeta)\).这是一个每点收敛的结果(pointwise convergence? 还没到uniform convergence).
  那么怎么证明uniform convergence，也就是

\[\lim_{n\rightarrow\infty}\Vert f-L_{n}\Vert_{\infty}=0 \]

一个\(\epsilon\)可以放之四海而皆准呢？

注：\(f\in\mathscr L[a,b]\)实际上告诉我们\(f\)在\([a,b]\)上是bounded的，也就是\(\Vert f\Vert_{\infty}\)在\([a,b]\)上是finite的.

实际上就是我们给一个构造\(q_{u}\)和\(q_{1}\)的方式，让\([a,b]\)上处处能满足整个偏序关系同时还能夹住. 因为整个\(f\)是bounded的话其实还是比较容易构造的，参考我们刚刚做pointwise convergence的时候的函数，只要把函数弄再陡峭一点，在到\(\zeta-\delta\)和\(\zeta+\delta\)的时候达到\(\Vert f\Vert_\infty\)的大小就可以了. 书上的构造如下：

\[\left.\begin{matrix}q_{u}(x)=f(\zeta)+\epsilon+2\Vert f\Vert_\infty\frac{(x-\zeta)^2}{\delta^2}\\q_{1}(x)=f(\zeta)-\epsilon-2\Vert f\Vert_\infty\frac{(x-\zeta)^2}{\delta^2}\end{matrix}\right\},a\leq x\leq b \]

这里这个就是\(\delta\)不断弄小点肯定能做到~
书上这段ensure \(n\) large enough的说明似乎出于：

• 顺手证明一下quadratic function都uniform convergence
• 在uniform convergence的前提下\((T_{i}q_{u})(\zeta)\)和\((T_{i}q_{1})(\zeta)\)足够靠近

Bernstein operator

也是一种approximation operator.
形式是

\[(B_{n}f)(x)=\sum\limits_{k=0}^{n}\binom{n}{k}x^{k}(1-x)^{n-k}f(\frac{k}{n}),0\leq x\leq1 \]

相比Lagrange operator同样是

• polynomial approximation
• linear operator
  但是
• 即使\(f\in\mathscr P_n\)，也可能有\(B_{n}f\neq f\),值域是\(\mathscr P_n\)的子集.
  • 例如在某个\(f(\frac{k}{n})=1\)，其余的\(f(\frac{j}{n}),j\neq k\)处为\(0\)，\(B_{n}f=\binom{n}{k}x^{k}(1-x)^{n-k}\)，显然在\(\frac{j}{n},j\neq k\)处都是正数.
    那么这个operator有啥用呢？答案是下面这个Theorem:

Theorem 6.3 Bernstein的uniform convergence
对\(f\in\mathscr L[0,1]\)，\(\{B_{n}f:n=1,2,3,\dots\}\) converges uniformly to \(f\).

note. 显然Lagrange越加点越容易过拟合，但是Bernstein相当于逐渐会收敛（不过收敛的很慢，所以seldom use in practice)
proof. 证明方法就是apply Theorem 6.2.
\(B_{n}\)是linear 的，同时因为乘的系数都是正的所以显然也是monotone的. 我们接下来只需要证明\(B_{n}f\)对\(f(x)=1,=x,=x^{2}\)情况下都有

\[\lim_{n\rightarrow\infty}\Vert B_{n}f-f\Vert_{\infty}=0 \]

• \(f(x)=1\)情况下by Binomial Theorem \(B_{n}f=f\).
• \(f(x)=x\)下still by Binomial Theorem

\[\begin{aligned} (B_{n}f)(x)=&\sum\limits_{k=0}^{n}\frac{n!}{k!(n-k)!}x^{k}(1-x)^{n-k}\frac{k}{n}\\ =&x\sum\limits_{k=0}^{n}\frac{(n-1)!}{(k-1)!(n-k)!}x^{k-1}(1-x)^{n-k}\\ =&x \end{aligned} \]

• \(f(x)=x^2\)下还是一样的方法，不过不能直接求解，首先考虑一个差分

\[\begin{aligned} &\sum\limits_{k=0}^{n}\frac{n!}{k!(n-k)!}x^{k}(1-x)^{n-k}\frac{k(k-1)}{n(n-1)}\\ =&x^2 \end{aligned} \]

考虑一下\(\frac{n(n-1)x^{2}+nx}{n^{2}}=\frac{n-1}{n}x^{2} + \frac{1}{n}x\)，就能凑出\(B_{n}f\)了.
显然uniform convergence，不过为了更具体地证明，

\[\Vert B_{n}f-f\Vert_{\infty}=\max_{0\leq x\leq 1}\vert \frac{n-1}{n}x^{2}+ \frac{1}{n}x-x^{2}\vert<\frac{1}{4n} \]

所以as \(n\rightarrow \infty\) \(B_{n}f\) uniform convergence.

• 实际上对任意函数\(f\in\mathscr L[a,b]\)使用Bernstein operator生成的函数列uniform convergence就是[[#Weierstrass theorem]]的直接表达，所以which proves Weierstrass theorem.
• \([a,b]\rightarrow[0,1]\) is simple.
• 前面提到Bernstein operator的uniform convergence收敛得很慢，所以seldom use in practice. 但是实际上我们用Bernstein operator来平滑一段曲线——例如我们手画一段图的边缘，然后通过调节\(n\)的值来调整平滑的比例，这个时候收敛慢反而成了优点，所以调节可以比较细.

Derivatives of Bernstein approximations

实际上Bernstein operator的uniform convergence不局限于就是\(f\)和\(B_{n}f\)，假如\(f\in\mathscr L^{(k)}[0,1]\)，那么\((B_{n}f)^{(k)}\)同样uniform convergent to \(f^{(k)}\)(每阶导数).