09 欧几里得空间 | 高等代数

1. 定义与基本性质

1. 线性空间

1. 线性空间的条件：设\(V\)为非空集合，\(P\)为数域，在\(V\)中定义加法和数乘两种运算，首先这两个运算要对集合\(V\)满足 封闭性，并且有下述规则
   1. 加法交换律：\(\alpha + \beta = \beta + \alpha\)
   2. 加法结合律：\(\alpha +(\beta + \gamma) = (\alpha + \beta)+\gamma\)
   3. 零元：\(\forall \alpha \in V,0+\alpha=\alpha\)
   4. 负元：\(\forall \alpha \in V,\forall \beta \in V,\alpha + \beta = 0\)
   5. 1乘不变性：\(1\alpha = \alpha\)
   6. 数乘结合律：\(k(l\alpha) = (kl)\alpha\)
   7. 对系数的分配律：\((k+l)\alpha = k\alpha + l\alpha\)
   8. 对元素的分配律：\(k(\alpha+\beta)=k\alpha + k\beta\)
2. 典型的线性空间
   1. \(m\times n\) 矩阵空间
   2. 一元多项式环
3. 线性空间的性质
   • 零元 唯一
   • 负元 唯一
   • \(0\alpha = 0;(-1)\alpha=-\alpha;k0=0\)
   • 无零因子：如果 \(k\alpha=0\)，那么 \(k=0\) 或 \(\alpha=0\)

2. 欧氏空间

1. 欧氏空间的定义：设\(V\)是实数域上的线性空间，如果\(V\)内任意两个向量\(\alpha,\beta\)都按某一法则对应于\(\mathbb{R}\)中的唯一一个数，记作\((\alpha,\beta)\)，且满足：
   1. 对称性：\((\alpha,\beta) = (\beta,\alpha)\)
   2. 双线性性：
      1. \((k\alpha,\beta)=k(\alpha,\beta)\)
      2. \((\alpha + \beta,\gamma)=(\alpha,\gamma)+(\beta,\gamma)\)
   3. 正定性：\((\alpha,\alpha)\ge 0\)，当且仅当 \(\alpha =0\)时，\((\alpha,\alpha)=0\)
      则称\((\alpha,\beta)\)为向量\(\alpha,\beta\)的 内积，实数域上的线性空间\(V\)称为欧几里得空间，简称 欧氏空间，并且把线性空间\(V\)的维数称为欧氏空间\(V\)的维数
2. 欧氏空间的 本质：在实数域上的线性空间添加了一个 对称正定双线性函数
3. 常见内积
   1. 向量点乘：在线性空间\(\mathbb{R}^n\)中，\(\alpha = (a_1,a_2,\cdots,a_n),\beta=(b_1,b_2,\cdots,b_n)\)的内积\((\alpha,\beta) = a_1b_1+a_2b_2+\cdots+a_nb_n\)
   2. 积分：在闭区间\([a,b]\)上所有连续函数所组成的空间\(C[a,b]\)，定义\(f(x),g(x)\)的内积为$(f(x),g(x))=\int_{a}^{b}f(x)g(x)dx $
4. 欧氏空间运算
   1. 长度或范数或模：\(|\alpha|=\sqrt{(\alpha,\alpha)}\)
   2. 零向量的长度为零
   3. \(|k\alpha| = |k|\cdot|\alpha|\)
   4. 单位向量：长度为1的向量
   5. 向量单位化：\(\frac{\alpha}{|\alpha|}\)
   6. 夹角：\(\left \langle \alpha,\beta \right \rangle = \arccos\frac{(\alpha,\beta)}{|\alpha||\beta|},0\le\left \langle \alpha,\beta \right \rangle \le\pi\)
5. 柯西不等式 \(CauchyInequality\)：欧氏空间中任意两个向量 \(\alpha,\beta\)满足不等式
   \[|(\alpha,\beta)|\le |\alpha||\beta| \]
   当且仅当\(\alpha,\beta\)线性相关时等号成立
6. 三角不等式：\(|\alpha+\beta|\le|\alpha|+|\beta|\)
7. 距离：\(d(\alpha,\beta)=|\alpha-\beta|\)
   1. 对称性：\(d(\alpha,\beta) = d(\beta,\alpha)\)
   2. 正定性：\(d(\alpha,\beta)\ge 0\)，当且仅当\(\alpha=\beta\)等号成立
   3. 三角不等式：\(d(\alpha,\gamma)\le d(\alpha,\beta)+d(\beta,\gamma)\)

3. 欧氏空间的度量矩阵

1. 度量矩阵：设 \(V\) 是 \(n\) 维欧氏空间，取 \(V\) 的一组基\(\varepsilon_1,\dots\varepsilon_n\),对 \(V\)中任两个向量 \(\alpha=x_1\varepsilon_1+\cdots+x_n\varepsilon_n,\beta = y_1\varepsilon_1+\cdots+\varepsilon_n,(\alpha,\beta)\) 的矩阵形式为\(X^TAY\)，则矩阵\(A\)称为基\(\varepsilon_1,\dots,\varepsilon_n\)的 度量矩阵

\[ A= \begin{bmatrix} (\varepsilon_1,\varepsilon _1)& (\varepsilon_1,\varepsilon _2)& \cdots & (\varepsilon_1,\varepsilon _n) \\ (\varepsilon_2,\varepsilon _1)& (\varepsilon_2,\varepsilon _2)& \cdots & (\varepsilon_2,\varepsilon _n) \\ \vdots & \vdots & \ddots & \vdots \\ (\varepsilon_n,\varepsilon _1)& (\varepsilon_n,\varepsilon _2)& \cdots & (\varepsilon_n,\varepsilon _n) \end{bmatrix} \]

2. 度量矩阵的性质
   1. 度量矩阵是 对称 的
   2. 度量矩阵是 正定 的
   3. 不同基的度量矩阵是 合同 的：设欧氏空间 \(V\) 在基\(\varepsilon_i\)下的度量矩阵为 \(A\)，在 \(\eta_i\)下的度量矩阵为\(B\)，由\(\varepsilon_i\)到\(\eta_i\)的过渡矩阵为 \(C\)， 则 \(C^TAC=B\)，即\(A\)与\(B\)是合同的

2. 标准正交基

1. 标准正交基

1. 正交：内积为 \(0\)
   1. 正交向量组都是 线性无关 的
   2. 在\(n\)维的欧氏空间中，不存在\(n+1\)个两两正交的非零向量
2. 标准正交基：由 单位向量组成的正交基
   1. 标准正交基的度量矩阵为 单位阵（充分必要条件）
   2. 标准正交基不唯一
   3. 设 \(\varepsilon_1,\dots,\varepsilon_n\)是\(n\)维向量空间的一组标准正交基，则 \(\forall \alpha\in V,\alpha=(\varepsilon_1,\alpha)\varepsilon_1+\dots+(\varepsilon_n,\alpha)\varepsilon_n\)
   4. 在\(n\)维的欧氏空间中的任意一个正交向量组都可以扩充为一组标准正交基

2. 施密特\((Schmidt)\)正交化

1. 正交化:给定 \(\alpha_1, \alpha_2,\dots,\alpha_n\)线性无关向量组
   \(\beta_1 = \alpha_1\)
   \(\vdots\)
   \(\beta_i = \alpha_i - \frac{(\alpha_i , \beta_1)}{(\beta_1,\beta_1)}\beta_1-\frac{(\alpha_i , \beta_2)}{(\beta_2,\beta_2)}\beta_2-\cdots-\frac{(\alpha_i , \beta_{i-1})}{(\beta_{i-1},\beta_{i-1})}\beta_{i-1}\)
2. 单位化：\(\gamma_i = \frac{\beta_i}{|\beta_i|}\),\(\gamma_1,\dots,\gamma_n\)即为标准正交基
3. 正交矩阵
   1. 正交矩阵：如果\(n\)维实矩阵\(A\)满足\(A^TA=E,E\)为单位矩阵，则\(A\)为 正交矩阵
      1. \(A^T=A^{-1}\)
      2. \(A\) 的行（列）向量组是欧氏空间 \(\mathbb{R}^n\) 的一组标准正交基
      3. 欧氏空间两组标准正交基的 过渡矩阵 为 正交矩阵
         设\(n\)维欧氏空间\(V\)中的两组标准正交基\(\varepsilon_i\)到\(\eta_i\)的过渡矩阵为\(A\)，那么
      \[(\eta_1, \eta_2,\cdots,\eta_n) = (\varepsilon_1,\varepsilon_2,\cdots,\varepsilon_n)\begin{bmatrix} a_{11}& a_{12}& \cdots & a_{1n} \\ a_{21}& a_{22}& \cdots & a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{n1}& a_{n2}& \cdots & a_{nn} \end{bmatrix} \]
      则根据标准正交基的性质
      \[(\eta_i,\eta_j) = \left\{\begin{matrix} 1,i=j \\ 0,i\ne j \end{matrix}\right. \\\qquad a_{1i}a_{1j}+a_{2i}a_{2j}+\cdots+a_{ni}a_{nj}=\left\{\begin{matrix} 1,i=j \\ 0,i\ne j \end{matrix}\right. \]
      即
      \[A^TA=E \]

3. 欧氏空间的同构

1. 同构
   1. 数域上的两个欧式空间\(V,V^{'}\)是 同构 的，如果由\(V\)到\(V^{'}\)有一个双射，具有以下性质
      1. \(\sigma(\alpha+\beta)=\sigma(\alpha)+\sigma(\beta)\)
      2. \(\sigma(k\alpha) = k\sigma(\alpha)\)
      3. \((\sigma(\alpha),\sigma(\beta)) = (\alpha , \beta)\)
   2. 欧氏空间的同构是一种 等价关系
      1. 自反性：每个欧氏空间自身到自身的恒等映射显然是同构映射
      2. 对称性：如果\(\sigma\)是一个同构映射，\((\alpha,\beta) = (\sigma(\sigma^{-1}(\alpha)) ,\sigma(\sigma^{-1}(\beta))) = (\sigma^{-1}(\alpha),\sigma^{-1}(\beta))\)，则 \(\sigma^{-1}\)也是同构映射
      3. 传递性：如果\(\sigma\)是\(V\)到\(V^{'}\)的同构映射，\(\tau\)是\(V^{'}\)到\(V^{''}\)的同构映射，那么\((\tau\sigma(\alpha),\tau\sigma(\beta))=(\tau(\sigma(\alpha)),\tau(\sigma(\beta)))=(\sigma(\alpha),\sigma(\beta))=(\alpha,\beta)\)
2. 任意\(n\)维欧氏空间\(V\)必与\(\mathbb{R}^n\) 同构
   设\(V\)为\(n\)维欧氏空间，\(\varepsilon_1,\varepsilon_2,\dots,\varepsilon_n\)为\(V\)的一组标准正交基，那么\(V\)中的向量\(\alpha\)可以表示为\(\alpha=x_1\varepsilon_1+x_2\varepsilon_2+\cdots+x_n\varepsilon_n\)，那么\(\sigma(\alpha) = (x_1,x_2,\dots,x_n)\)
3. 两个欧氏空间同构 \(\Longleftrightarrow\) 它们的维数相同（根据传递性）
4. \(V\)上的线性变换\(\mathscr{A}\)是欧氏空间的同构映射\(\Longleftrightarrow\)\(\mathscr{A}\)把\(V\)的标准正交基映射为标准正交基

4. 正交交换

1. 正交变换

1. 正交变换：欧氏空间 \(V\) 的线性变换 \(\mathscr{A}\) 称为 正交变换 ，如果它保持向量的 内积不变 ，即对任意的\(\alpha,\beta \in V\)，都有\((\mathscr{A}\alpha, \mathscr{A}\beta)=(\alpha,\beta)\)
   1. 正交变换 \(\mathscr{A}\) 保持向量的 长度 不变
   2. 正交变换 \(\mathscr{A}\) 保持向量的 距离 不变
   3. 正交变换 \(\mathscr{A}\) 保持非零向量的 夹角 不变
   4. 正交变换 \(\mathscr{A}\) 保持向量的 正交性 不变
   5. 正交变换 \(\mathscr{A}\) 是 单射
2. 有限维欧氏空间 \(V\) 上的线性变换 \(\mathscr{A}\) 是正交变换当且仅当 \(\mathscr{A}\) 是 \(V\) 到自身的 同构映射（实际上\(\mathscr{A}\)是双射，即可逆）

2. 正交变换与正交矩阵

1. \(\mathscr{A}\) 是 \(n\) 维欧氏空间 \(V\) 上的 正交变换 \(\Leftrightarrow\) 如果 \(\varepsilon_1,\varepsilon_2,\dots,\varepsilon_n\) 是标准正交基，那么 \(\mathscr{A}\varepsilon_1,\mathscr{A}\varepsilon_2,\dots,\mathscr{A}\varepsilon_n\) 也是标准正交基 \(\Leftrightarrow\) \(\mathscr{A}\) 在任意一组标准正交基下的矩阵为 正交矩阵
2. 正交矩阵的乘积与逆矩阵也都是正交矩阵，对应于正交变换的乘积与逆变换也是正交变换

3. 正交变换的分类

1. 因为正交矩阵 \(A\) 有 \(A^TA=E\)，因此 \(|A|^2=1\)，则 \(|A|=\pm 1\)
   1. 行列式为 \(1\) 的正交矩阵对应的正交变换是 旋转，或称为 第一类的
   2. 行列式为 \(-1\) 的正交矩阵对应的正交变换称为 第二类的

5. 子空间

1. 子空间分解的唯一性

• 如果和空间分解子空间的时候，分解方式唯一，那么这类子空间和叫 直和

2. 子空间的直和

1. 直和：设\(V_1,V_2\)是线性空间\(V\)的子空间，如果\(V_1+V_2\)中每一个向量 \(\alpha\) 的分解式\(\alpha = \alpha_1+\alpha_2,\alpha_1\in V_1,\alpha_2\in V_2\)是唯一的，这个和就叫作 直和，记为 \(V_1\oplus V_2\)
2. 直和的四种等价表述
   设 \(V_1,V_2\) 是线性空间 \(V\) 的两个有限维子空间
   1. \(V_1+V_2\)是直和
   2. \(0\) 的表示法 唯一，即若 \(0=\alpha_1+\alpha_2,\alpha_1\in V_1,\alpha_2\in V_2\)，则必有 \(\alpha_1 = \alpha_2 = 0\)
   3. \(V_1\cap V_2 = \{0\}\)
   4. \(\dim V_1 + \dim V_2 = \dim(V_1+V_2)\)
3. 补空间：设 \(U\) 是线性空间 \(V\) 的一个子空间，那么一定存在一个子空间\(W\)，使 \(V=U\oplus W\)，则 \(W\) 称为 \(U\) 的 补空间
   1. 补空间 不唯一
4. 多个子空间的直和：设 \(V_1,V_2,\cdots,V_s\)是线性空间\(V\)的子空间，如果和 \(V_1+V_2+\cdots+V_s\)中的每个向量\(\alpha\) 的分解式\(\alpha=\alpha_1+\alpha_2+\cdots+\alpha_s,\alpha_i\in V_i,(i=1,2,\dots,s)\)是唯一的，那么这个和就是 直和，记作 \(V_1\oplus V_2\oplus\cdots\oplus V_s\)
   1. 每一个\(n\)维线性空间都可以写成\(n\)个一维子空间的直和
   2. 多子空间直和的等价描述：设\(V_1,V_2,\cdots,V_s\)是线性空间\(W\)的有限维子空间，那么下面四个描述等价
      1. \(W=\sum_{i=1}^sV_i\)是直和
      2. \(\mathbb{0}\)的表示唯一
      3. \(V_i\cap\sum_{j\ne i}V_j={\mathbb{0}}\)，即\(V_i\)和其他子空间的和空间的交集为零向量(两两相交为零向量不一定是直和)
      4. \(\dim W = \sum_{i=1}^s\dim V_i\)

      第三条等价描述可以进一步简化为
      \(V_i\cap\sum_{j=1}^{i-1}V_j={\mathbb{0}}\)

   3. 设 \(V=V_1\oplus V_2\oplus \cdots \oplus V_s\)，则子空间 \(V_1,V_2,\cdots,V_s\) 的基的并为\(V\)的一组基

3. 正交子空间

1. 正交空间：设\(V_1,V_2\)是欧氏空间\(V\)的两个子空间，如果\(\forall \alpha\in V_1,\forall \beta\in V_2\)，都有\((\alpha,\beta) = 0\)，则称\(V_1\)和\(V_2\)是正交的，记作 \(V_1\perp V_2\)
2. 如果子空间\(V_1,V_2,\cdots,V_s\)两两 正交，那么和\(V_1+V_2+\cdots+V_s\)是 直和
3. 正交子空间：子空间\(V_2\)称为子空间\(V_1\)的一个 正交补，如果\(V_1\perp V_2\)，并且\(V=V_1+V_2\)，的正交补记为\(V_1^{\perp}\)
   1. 正交补具有 唯一性
   2. \(V_1^{\perp}=\{\alpha\in V|\forall \beta\in V_1,(\alpha,\beta) = 0\}\)
   3. \(\forall \alpha\in V,\alpha=\alpha_1+\alpha_2,\alpha_1\in V_1,\alpha_2\in V_1^{\perp}\)，则称 \(\alpha_1\)为向量\(\alpha\)在子空间\(V_1\)上的内射影，或正交投影
   4. 内射影是对称变换，即令 \(\mathscr{A}\) 为内射影的变换，则\((\mathscr{A}\alpha,\beta)=(\alpha,\mathscr{A}\beta)\)

6. 对称变换与对称矩阵

1. 对称变换与实对称矩阵

1. 对称变换：设 \(\mathscr{A}\) 是欧氏空间 \(V\) 内的一个线性变换，如果对于\(V\)中的任意向量\(\alpha,\beta\)，都有 \((\mathscr{A}\alpha,\beta)=(\alpha,\mathscr{A}\beta)\)，则称\(\mathscr{A}\)是\(V\)的一个 对称变换
2. \(n\) 维欧氏空间 \(V\) 内的一个线性变换\(\mathscr{A}\)是一个对称变换的充分必要条件是\(\mathscr{A}\)在标准正交基下的矩阵是一个 实对称矩阵
3. 设 \(A\) 是实对称矩阵，那么 \(A\) 的属于不同特征值的特征向量必然 正交
4. 设 \(\mathscr{A}\)是对称变换，\(V_1\)是\(\mathscr{A}\)子空间，则\(V_1^{\perp}\)也是\(\mathscr{A}\)子空间

\(\mathscr{A}\)子空间：对 \(\forall \alpha\in V\)，有 \(\mathscr{A}\alpha\in V\)

2. 实对称矩阵标准型

1. 实对称矩阵的特征值都是 实数
2. 标准型：对于任一\(n\)阶实对称矩阵\(A\)，都存在一个\(n\)阶正交矩阵\(T\)，使得\(T^TAT=T^{-1}AT=\Lambda\)为对角型，\(\Lambda\)称为 标准型
3. 对称变换\(\mathscr{A}\)有\(n\)个特征向量\(\alpha_1,\alpha_2,\dots,\alpha_n\)做出标准正交基(根据这一点推出的\(\Lambda\)是由这些特征值构成的对角矩阵，\(T\)是由对应的特征向量构成的标准正交基所组成的正交矩阵)
4. 标准型求解：
   1. 求出 \(A\) 的全部特征值
   2. 对于每个特征值，求出一组线性无关的特征向量
   3. 使用施密特正交化，求出标准正交基
   4. 将所有的标准正交基的特征向量放在一起，构成 \(T\)
   5. 将特征值写在对角线上，构成 \(\Lambda\)
5. 基于正交变换的 二次型-标准型 转化
   1. 定理：任给二次型\(f = \sum_{i,j=1}^{n}a_{ij}x_iy_j(a_{ij}=a_{ji})\), 总有正交变换\(x=Py\)使\(f\)化为标准形\(f = \lambda_1y_1^2+\lambda_2y_2^2+\cdots+\lambda_ny_n^2\)，其中\(\lambda_1,\lambda_2,\cdots ,\lambda_n\)是\(f\)的矩阵\(A=(a_{ij})\)的特征值
   2. 步骤
      1. 将二次型表示为矩阵形式 \(f = X^TAX\)
      2. 求出\(A\)的所有特征值 \(\lambda_1,\lambda_2,\dots,\lambda_n\)
      3. 求出对应于特征值的特征向量 \(\xi_1,\xi_2,\dots,\xi_n\)
      4. 将特征向量正交化，单位化，得到 \(\eta_1,\eta_2,\dots,\eta_n\)，记\(P = (\eta_1,\eta_2,\cdots,\eta_n)\)
      5. 作正交变换 \(x=Py\)，得到标准型 \(f = \lambda_1y_1^2 + \cdots + \lambda_ny_n^2\)

7. 向量到子空间的距离和最小二乘法

1. 向量到子空间的距离

1. 正交投影：设\(U\)是实内积空间\(V\)的一个子空间，而且\(V=U\oplus U^{\perp}\)，对于向量\(\alpha\in V\)，如果\(U\)中的向量 \(\alpha_1\)使得 \((\alpha-\alpha_1)\perp U\)，则\(\alpha_1\)称为\(\alpha\)在\(U\)上的正交投影
   

2. 正交投影与距离：设\(U\)是实内积空间\(V\)的一个子空间，而且\(V=U\oplus U^{\perp}\)，则对于\(\alpha\in V,\alpha_1\in U\)是\(\alpha\)在\(\alpha\)在\(U\)上的正交投影的充分必要条件为 \(d(\alpha,\alpha_1)\le d(\alpha,\gamma),\forall \gamma\in U\)

2. 最小二乘法

1. 对于方程\(AX=\beta\)，有时候在对应子空间中没有对应的解，我们希望找到一组解\(X\)使得\(|AX-\beta|^2\le |AY-\beta|^2,\forall Y\in \mathbb{R}^s\)
2. 最小二乘法：\(A^T(AX-\beta)=0 \Leftrightarrow A^TAX=A^T\beta\)，\(X\)即为上述的最佳近似解

为什么 \(A^TAX=A^T\beta\)一定有解

因为 \(rank(A^TA)=rank (A)\)，即\(A,A^TA\)有相同的列空间
证明：
显然 \(rank (A^TA)\le rank A\)
另外 \(A^TAX=0\Rightarrow X^TA^TAX=0\Rightarrow AX=0\Rightarrow n - rank(A^TA)\le n - rank (A)\)
\(\Rightarrow rank(A^TA)\ge rank(A)\)
因此 \(rank (A^TA)=rank (A)\)