第3章-函数逼近
3.1 内积空间
3.1.1 内积
设$ f(x), g(x) \in C[a,b], \rho(x)$ 是\([a,b]\)上的权函数，积分
\[(f, g) = \int_a^b \rho(x) f(x)g(x) dx
\]
称为函数\(f(x)\) 与\(g(x)\) 在\([a,b]\) 上的内积。
\(C[a,b]\) 表示在区间\([a,b]\) 内连续的全体函数组成的集合。
满足内积定义的函数空间称为内积空间。因此，连续函数空间\(C[a,b]\) 上定义了内积就形成了一个内积空间。（我的理解是连续函数空间就是内积空间，只是差了个内积定义而已）
内积的四条公理：
- $(f, g) = (g,f) $
- $(cf, g) = c(f,g) $
- $(f_1+f_2, g) = (f_1,g)+(f_2,g) $
- $(f,f) \ge 0 \(；当且仅当\)f=0$ 时，$(f,f) =0 $
3.1.2 欧氏范数
\[||f||_2 = \sqrt{\int_a^b \rho(x)f^2(x)dx} = \sqrt{(f,f)}
\]
称为\(f(x)\) 的欧氏范数。
3.1.3 带权\(\rho(x)\) 正交
若\(f(x), g(x) \in C[a,b]\) 满足
\[(f,g) = \int_b^a \rho(x)f(x)g(x)dx = 0
\]
则称\(f\) 和\(g\) 在\([a,b]\) 上带权\(\rho(x)\) 正交。
若函数族$ \phi_0(x), \phi_1(x), \dots ,\phi_n(x), \dots $ 满足
\[ (\phi_j, \phi_k) = \int_a^b \rho(x)\phi_j(x) \phi_k(x) =
\left\{
\begin{array}{l}
0, j\ne k \\
A_k > 0, j=k
\end{array}
\right.
\]
就称\({\phi_k}\) 是\([a,b]\) 上带权\(\rho(x)\) 的正交函数族；
若\(A_k \equiv 1\) ，就称之为标准正交函数族。
3.1.4 线性无关
定义与向量的线性无关相似
例如，{$ x^k$ }\(, k = 0,1,2\dots\) 就是\(C[a,b]\) 上的线性无关函数族
定理：
函数族{$ \phi_k$ }\(, k = 0,1,2\dots,n-1\)在\([a,b]\)上线性无关的充分必要条件：它的克莱姆（Gramer）行列式\(G_{n-1} \ne 0\)，其中
\[ G_n-1 = G(\phi_0, \phi_1, \dots, \phi_{n-1}) =
\left|
\begin{array}{ccc}
(\phi_0, \phi_0) & (\phi_0, \phi_1) & \dots & (\phi_0, \phi_{n-1}) \\
(\phi_1, \phi_0) & (\phi_1, \phi_1) & \dots & (\phi_1, \phi_{n-1}) \\
\dots & & \dots & \\
(\phi_{n-1}, \phi_0) & (\phi_{n-1}, \phi_0) & \dots & (\phi_{n-1}, \phi_{n-1})
\end{array}
\right|
\]
3.2 函数的最佳平方逼近
若选取基底 \(\left\{ \phi_i \right\}\) 来逼近函数 \(f(x)\)，即
\[f(x) \approx \sum_{i=0}^n a_i \phi_i
\]
系数 \(\left\{ a_i \right\}\) 可以用法方程求解：
法方程：
\[\sum_{j=0}^n (\phi_k, \phi_j)a_j = (f, \phi_k), \quad (k = 0,1,\dots,n)
\]
写成矩阵形式：
\[\begin{bmatrix}
(\phi_0, \phi_0) & (\phi_0, \phi_1) & \dots & (\phi_0, \phi_n) \\
(\phi_1, \phi_0) & (\phi_1, \phi_1) & \dots & (\phi_1, \phi_n) \\
\dots & \dots & \dots & \dots \\
(\phi_n, \phi_0) & (\phi_n, \phi_1) & \dots & (\phi_n, \phi_n)
\end{bmatrix}
\begin{bmatrix}
a_0 \\
a_1 \\
\dots \\
a_n
\end{bmatrix}
=
\begin{bmatrix}
(\phi_0, f) \\
(\phi_1, f) \\
\dots \\
(\phi_n, f)
\end{bmatrix}
\]
（以下为推导过程）
函数 \(f(x)\) 用n次多项式 $ s(x)= \sum_{k=0}^n a_k x^k $作最佳平方逼近，就是要找到一组系数{ $ a_k^* $ }，使得
\[||f(x)-s^*(x)||_2^2 = \int_a^b [f(x)-s^*(x)]^2dx = min_{s(x)\in H_n}||f(x)-s(x)||_2^2
\]
（懒得写了，先不写）
3.3 正交多项式
3.5 最小二乘拟合
就是离散版本的最佳平方逼近
法方程：
\[\sum_{j=0}^n (\phi_k, \phi_j)a_j = (y, \phi_k), \quad (k = 0,1,\dots,n)
\]
写成矩阵形式：
\[\begin{bmatrix}
(\phi_0, \phi_0) & (\phi_0, \phi_1) & \dots & (\phi_0, \phi_n) \\
(\phi_1, \phi_0) & (\phi_1, \phi_1) & \dots & (\phi_1, \phi_n) \\
\dots & \dots & \dots & \dots \\
(\phi_n, \phi_0) & (\phi_n, \phi_1) & \dots & (\phi_n, \phi_n)
\end{bmatrix}
\begin{bmatrix}
a_0 \\
a_1 \\
\dots \\
a_n
\end{bmatrix}
=
\begin{bmatrix}
(\phi_0, y) \\
(\phi_1, y) \\
\dots \\
(\phi_n, y)
\end{bmatrix}
\]
离散版本的内积 \((f,g) = \sum_{i=1}^N \omega(x_i)f(x_i)g(x_i)\) ， \(\omega(x)\) 为权函数。
法方程也可以写成
\[A^TA\alpha = A^TY
\]
其中
\[ A =
\begin{bmatrix}
\phi_0(x_1) & \phi_1(x_1) & \dots & \phi_m(x_1) \\
\phi_0(x_2) & \phi_1(x_2) & \dots & \phi_m(x_2) \\
\dots & \dots & \dots & \dots \\
\phi_0(x_N) & \phi_1(x_N) & \dots & \phi_m(x_N)
\end{bmatrix}
\]
\(N\) 为数据点的个数， \(m+1\) 为基底的个数
