【线性代数】 08 - 线性空间的度量

合集 - 高等代数(15)

1.【线性代数】 01 - 古老的新学科2015-10-122.【线性代数】 02 - 线性空间2015-10-123.【线性代数】 03 - 行列式2015-10-134.【线性代数】 04 - 矩阵2015-10-135.【线性代数】 05 - 线性变换2015-11-176.【线性代数】 06 - Jordan标准型2015-11-187.【线性代数】 07 - 线性函数2016-01-02

8.【线性代数】 08 - 线性空间的度量2016-01-03

9.【线性代数】 09 - 正规变换和二次型2016-01-0510.【高等代数】01 - 行列式和矩阵的秩2020-05-0711.【高等代数】02 - 矩阵的逆和相似矩阵2020-05-0712.【高等代数】03 - 二次型和矩阵的分解2020-05-0713.【高等代数】04 - 多项式环2020-05-0714.【高等代数】05 - 线性变换2021-02-2215.【高等代数】06 - 线性函数2021-05-22

收起

1. 内积空间

1.1 欧几里得空间

　　线性空间在添加了双线性的运算后，向量之间建立了简单的正交、非正交的关系。数域是最常见的域，它天生就带着度量的使命，所以在数域的线性空间中，我们不能回避向量间的度量。所谓度量就是用一个数表示向量之间的关系，并衍生出长度、距离和角度的概念，而在度量上最“完备”的数域当然是实数域，故这里的长度先限定在实数域上讨论。但其实本篇的推导和结论其实对数域的要求并不高，如果放在更弱一点的代数数域中（至少包含$\sqrt{2}$），是同样可以成立的。

　　双线性函数正好是用数量来表示向量的关系，在这里我们还需要对其加一些限制条件。首先我们希望这个度量与向量的顺序无关，所以要求双线性函数是对称的。其次我们准备用二次型表示向量长度，所以还要求它是正定的。为此我们定义实数域上正定的对称双线性函数$f(\alpha ,\beta )$为向量的内积，简记为$(\alpha ,\beta )$或$\alpha \cdot \beta$，易知内积的度量矩阵为正定实对称矩阵。

　　定义了内积的实线性空间叫实内积空间，或者叫欧几里得空间（Euclid），有了内积下面就继续定义长度和距离（式（1））。由于二次型是二次函数，所以定义向量的长度时，需要对其开平方，即$\alpha$的长度为$\sqrt{\alpha \cdot \alpha }$，简记为$\Vert \alpha \Vert$。长度为$1$的向量称为单位向量，对任意非零向量$\alpha$显然${\displaystyle \frac{\alpha }{\Vert \alpha \Vert }}$是单位向量。而距离自然定义为向量差的长度，记作$d(\alpha ,\beta )$。你可能注意到，这样定义的内积其实与解析几何中介绍的是有差别的，我们还需要验证这些定义是否符合几何学中的基本关系。

$$\begin{array}{}\text{(1)}& \Vert \alpha \Vert =\sqrt{\alpha \cdot \alpha },d(\alpha ,\beta )=\Vert \alpha -\beta \Vert \end{array}$$

　　内积作为向量间关系，除了长度之外应该还有角度的性质，比如前面的正交性。考察等式$\Vert t\alpha -\beta \Vert ⩾0$并将其展开，得到不等式${\Vert \alpha \Vert }^2{t}^2-2(\alpha \cdot \beta )t+{\Vert \beta \Vert }^2⩾0$。该式成立的充要条件是判别式非负，等号成立的条件是$\alpha ,\beta$线性相关。整理判别式即有Schwarz-Cauchy不等式（2），有了这个不等式我们就能方便地定义向量的夹角了（式（3））。

$$\begin{array}{}\text{(2)}& |\alpha \cdot \beta |⩽\Vert \alpha \Vert \cdot \Vert \beta \Vert \end{array}$$

$$\begin{array}{}\text{(3)}& \theta =\arccos \frac{\alpha \cdot \beta }{\Vert \alpha \Vert \cdot \Vert \beta \Vert },(0⩽\theta ⩽\pi )\end{array}$$

　　等式（2）两边同时加上${\Vert \alpha \Vert }^2+{\Vert \beta \Vert }^2$，整理后可以得到三角不等式（4），它还有等价形式（5），这个式子保证了距离的概念是合理的。 当$\alpha ,\beta$正交时，（4）式两边取平方即可得勾股定理（6），并且易证等式（6）是$\alpha ,\beta$正交的充要条件。式（6）还可以推广到两两正交的有限向量组中，请自行论证。

$$\begin{array}{}\text{(4)}& |\Vert \alpha \Vert -\Vert \beta \Vert |⩽\Vert \alpha +\beta \Vert ⩽\Vert \alpha \Vert +\Vert \beta \Vert \end{array}$$

$$\begin{array}{}\text{(5)}& |d(\alpha ,\gamma )-d(\beta ,\gamma )|⩽d(\alpha ,\beta )⩽d(\alpha ,\gamma )+d(\beta ,\gamma )\end{array}$$

$$\begin{array}{}\text{(6)}& {\Vert \alpha \Vert }^2+{\Vert \beta \Vert }^2={\Vert \alpha +\beta \Vert }^2\end{array}$$

1.2 酉空间

　　复数域是实数域的代数闭包，我们希望能把度量的概念推广到复线性空间。但度量首先要求长度、距离这样的概念是非负实数，对称双线性函数不再适用，比如要求$f(\alpha ,\alpha ),f(i\alpha ,i\alpha )$都大于$0$就是不可能的。要进行概念的推广，就不得不打破双线性函数的束缚，或者说将其也进行推广。

　　对推广后的函数我们有三点需要满足：（1）要能兼容实数域上的内积；（2）长度的概念满足正定性；（3）距离概念还满足三角不等式。先来处理简单的场景，考虑$f(k\alpha ,k\alpha )$的正定性，如果还是定义成$f(k\alpha ,k\alpha )=k^{2}f(\alpha ,\alpha )$，在复数域上$k^2$并不是正定的。回想到复数共轭的概念，很容易想到将第二个参数变成其共轭，即将$f(\alpha ,k\alpha )$定义为$\overline{k}f(\alpha ,\alpha )$，也可以一般性地定义为半线性（式（7））。

$$\begin{array}{}\text{(7)}& f(\alpha ,k_1{\beta }_1+k_2{\beta }_2)=\overline{k_1}f(\alpha ,{\beta }_1)+\overline{k_2}f(\alpha ,{\beta }_2)\end{array}$$

　　函数在第一个变量上可以继续保持线性函数，为了能体现出函数在实数域上的对称性，式（7）和第一个变量上的线性相结合，便是式（8）的Hermite性。由此我们便有了复数域上的“内积”定义$f(\alpha ,\beta )$：（1）$f$是$\alpha$上的线性函数；（2）$f$满足Hermite性；（3）$f$是正定的。这样的函数被称为复内积，它显然和实内积兼容，所以也可以简称为内积，同样记作$(\alpha ,\beta )$或$\alpha \cdot \beta$。定义了内积的复线性空间称为复内积空间或内积空间，也称为酉空间（unitary linear space）。

$$\begin{array}{}\text{(8)}& f(\beta ,\alpha )=\overline{f(\alpha ,\beta )}\end{array}$$

　　在有限维空间中，选定一组基$\{{\epsilon }_1,\cdots ,{\epsilon }_n\}$后，内积也可以由这组基上的度量矩阵（式（9））决定。度量矩阵显然满足$A^{\prime }=\bar{A}$，并且当基通过过渡矩阵转变时，也同样有类似“合同”的关系式（10）。类似于实对称矩阵的可对角化，你也可以验证内积度量矩阵也是可对角化的。

$$\begin{array}{}\text{(9)}& f(\alpha ,\beta )=XA\overline{Y^{\prime }},a_{ij}=f({\epsilon }_i,{\epsilon }_j)\end{array}$$

$$\begin{array}{}\text{(10)}& B=PA\overline{P^{\prime }}\end{array}$$

　　由于内积的正定性，长度$\Vert \alpha \Vert$和距离$d(\alpha ,\beta )$的概念就自然引出了（式（1）），现在还需要证明三角不等式（4）（5），它们依赖于Schwarz-Cauchy不等式（式（2））。在复内积上，式（2）的证明本质和实数域上一样，只是在复数域上形式稍显复杂，其实直接将中轴数$t=-{\displaystyle \frac{\alpha \cdot \beta }{{\Vert \beta \Vert }^2}}$带入$(\alpha +t\beta ,\alpha +t\beta )⩾0$的展开式便可得到，请自行验证。

　　由式（2）自然可以定义角度（式（11）），注意这里的取值范围，它在复线性空间中更合适。定义了角度后，自然地就能引出正交的概念，以及正交向量的勾股定理（式（6）），你可以自己完成这些推导。

$$\begin{array}{}\text{(11)}& \theta =\arccos \frac{|\alpha \cdot \beta |}{\Vert \alpha \Vert \cdot \Vert \beta \Vert },(0⩽\theta ⩽\frac{\pi }{2})\end{array}$$

2. 正交性和正交变换

　　上面完成了内积空间的定义，并且看到酉空间对欧几里得空间是完全兼容的，今后的讨论都设定在酉空间中。

2.1 正交基

　　由于内积的度量矩阵可以“合同”对角化，所以内积空间总是存在一组正交基。我们希望在正交基下继续研究空间结构，但没有度量的帮助这一切都无法实现。而现在有了内积的定义，下面就来着手讨论正交关系下的内积空间结构。先来看看正交向量的性质，设${\alpha }_1,\cdots ,{\alpha }_s$两两正交，如果有$\sum k_i{\alpha }_i=0$，该式分别与${\alpha }_j$求内积得$k_j({\alpha }_j\cdot {\alpha }_j)=0$，从而$k_j=0$。这就说明了内积空间中，两两正交的向量必然是线性无关的。

　　从而$n$实内积空间中最多有$n$个正交向量，而且如果有的话它们便是一组基，单位向量组成的正交基又叫标准正交基。标准正交基使得度量有了单位，从而方便了表达。比如由于标准正交基的度量矩阵是$I$，向量的内积表达式就只与它们的坐标有关（式（12））。进一步地，设$\{{\eta }_1,{\eta }_2,\cdots ,{\eta }_n\}$是一组标准正交基，则每个向量的坐标也可以直接由内积表示（式（13））。式（13）也叫向量的Fourier展开，其中坐标也叫Fourier系数。

$$\begin{array}{}\text{(12)}& \alpha \cdot \beta =X\overline{Y^{\prime }}=x_1\overline{y_1}+x_2\overline{y_2}+\cdots +x_n\overline{y_n}\end{array}$$

$$\begin{array}{}\text{(13)}& \alpha =(\alpha \cdot {\eta }_1){\eta }_1+(\alpha \cdot {\eta }_2){\eta }_2+\cdots +(\alpha \cdot {\eta }_n){\eta }_n\end{array}$$

　　回顾实对称矩阵可合同对角化的证明，整个过程其实就是在寻找正交化基，现在把这个方法整理出来。设$\{{\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n\}$是任意一组基，现在来构造一组正交基$\{{\beta }_1,{\beta }_2,\cdots ,{\beta }_n\}$。构造${\beta }_i$的过程既要引入向量${\alpha }_i$，又要和已经构造的${\beta }_j,(j<i)$正交。模仿对角化的过程，先设${\beta }_1={\alpha }_1$，然后设${\beta }_i={\alpha }_i+\sum _{j<i}{k}_{ij}{\beta }_j$。利用正交性可求出$k_{ij}$的唯一解，这就得到了正交基（式（14）），这个过程也叫Schmidt正交化。

$$\begin{array}{}\text{(14)}& {\beta }_1={\alpha }_1;{\beta }_i={\alpha }_i-\sum _{j=1}^{i-1}\frac{{\alpha }_i\cdot {\beta }_j}{{\beta }_j\cdot {\beta }_j}{\beta }_j(2⩽i⩽n)\end{array}$$

2.2 酉矩阵（正交矩阵）

　　以上正交化过程中，如果选取不同的基$\{{\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n\}$，也将得到不同标准正交基。这些标准正交基之间有什么样的关系？设两组基的过渡矩阵为$P$，根据两组基的度量矩阵的关系有$PI\overline{P^{\prime }}=I$，为此定义满足$A\overline{A^{\prime }}=I$的方阵为酉矩阵，在实数域上又叫正交矩阵（满足$A{A}^{\prime }=I$）。酉矩阵有着非常好的性质，首先它的逆矩阵正好就是它的共轭转置矩阵（式（15）），进而可知它的行向量和列向量都是坐标空间中的一组标准正交基。还容易看出，如果$A,B$是酉矩阵（正交矩阵），则$\overline{A^{\prime }},A^{-1},AB$都是酉矩阵（正交矩阵）。$P\overline{P^{\prime }}=I$两边取行列式，可知酉矩阵的行列式的模为$1$（对正交矩阵则是$|P|=\pm 1$）。

$$\begin{array}{}\text{(15)}& A\overline{A^{\prime }}=I\iff A^{-1}=\overline{A^{\prime }}\iff \overline{A^{\prime }}A=I\end{array}$$

　　式（14）可以整理为如（16）的关系式，这个式子表示了两组基的过渡矩阵。考虑到可逆矩阵$A$的$n$行其实就是坐标空间的一组基，因此$A$可以表示为$TB$，其中$B$为行向量互相正交的矩阵。将$B$正交化为$P_1$，系数转移到$T$上得到$T_1$，于是就有$A=T_1{P}_1$。在$A$的列向量上讨论可以得到类似的结论，总结为式（17），就是说任何可逆方阵$A$可以分解为一个对角为正数的下三角矩阵$T_1$和一个酉矩阵$P_1$的乘积，也可以分解为一个酉矩阵$P_2$和一个对角为正数的上三角矩阵$T_2$的乘积。容易验证，这样的分解还是唯一的。

$$\begin{array}{}\text{(16)}& \left[\begin{array}{c}{\alpha }_1\\ {\alpha }_2\\ ⋮\\ {\alpha }_n\end{array}\right]=T\left[\begin{array}{c}{\beta }_1\\ {\beta }_2\\ ⋮\\ {\beta }_n\end{array}\right],T=\left[\begin{array}{cccc}1& 0& \cdots & 0\\ \frac{{\alpha }_2\cdot {\beta }_1}{{\beta }_1\cdot {\beta }_1}& 1& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ \frac{{\alpha }_n\cdot {\beta }_1}{{\beta }_1\cdot {\beta }_1}& \frac{{\alpha }_n\cdot {\beta }_2}{{\beta }_2\cdot {\beta }_2}& \cdots & 1\end{array}\right]\end{array}$$

$$\begin{array}{}\text{(17)}& A=T_1{P}_1=P_2{T}_2\end{array}$$

2.3 正交投影

　　由于正定性，内积在任何子空间上$W$都是非退化的，类似上一篇的结论可知$V=W\oplus W^{\perp }$。更一般地，设$V=W_1\oplus \cdots \oplus W_s$，将任何向量$\alpha$映射到$W_i$中的分量${\alpha }_i$的线性变换${\mathcal{P}}_i$，称为正交投影，${\alpha }_i$也称为$\alpha$的正交投影。在几何空间中，正交意味着最短距离，这个结论在内积空间中也同样成立。取$W_i$中的任意向量$\beta$，由于$(\alpha -{\alpha }_i)\perp (\beta -{\alpha }_i)$，通过式（18）的推导便有式（19）成立，当且仅当$\beta ={\alpha }_i$时等号成立，结论得证。

$$\begin{array}{}\text{(18)}& {\Vert \alpha -\beta \Vert }^2={\Vert (\alpha -{\alpha }_i)-(\beta -{\alpha }_i)\Vert }^2={\Vert \alpha -{\alpha }_i\Vert }^2+{\Vert \beta -{\alpha }_i\Vert }^2\end{array}$$

$$\begin{array}{}\text{(19)}& \Vert \alpha -\beta \Vert ⩾\Vert \alpha -{\alpha }_i\Vert ,(\beta ,{\alpha }_i\in W_i)\end{array}$$

　　正交投影的最短距离原理可以用于数据的逼近，也就是说${\alpha }_i$在$W_i$中对$\alpha$的最佳逼近元，现在来看一个应用。比如我们事先知道或假定变量$y$是向量$[x_1,\cdots ,x_n]$的线性函数$y=\sum k_i{x}_i$，为了确定系数$k_i$测得了$m$组样本$\{y_j,x_{1j},\cdots ,x_{nj}\}$。考虑到测量误差，样本数$m$一般是要大于$n$的，但这样就可能导致方程组（20）可能无解。

$$\begin{array}{}\text{(20)}& \beta =k_1{\alpha }_1+k_2{\alpha }_2+\cdots +k_n{\alpha }_n,\beta =\left[\begin{array}{c}{y}_1\\ ⋮\\ y_m\end{array}\right],{\alpha }_i=\left[\begin{array}{c}{x}_{1i}\\ ⋮\\ x_{mi}\end{array}\right]\end{array}$$

　　$\beta$不一定能由${\alpha }_i$线性表出，那只好取合适的$k_i$使得$d(\beta ,\sum k_i{\alpha }_i)$尽量小。利用正交投影的最短距离原理，即要求$\beta$在$⟨{\alpha }_1,\cdots ,{\alpha }_n⟩$上的正交投影。该条件等价于$(\beta -\sum k_i{\alpha }_i)\cdot {\alpha }_j=0$，用矩阵表示就是式（21）。容易论证该方程有解，这个方法就是最小二乘法，得到的解也称为最小二乘解。

$$\begin{array}{}\text{(21)}& \overline{A^{\prime }}AX=\overline{A^{\prime }}\beta ,A=[{\alpha }_1,\cdots ,{\alpha }_n],X=[k_1,\cdots ,k_n{]}^{\prime }\end{array}$$

2.4 酉变换（正交变换）

　　线性变换一直是我们研究线性空间结构的重要方法，现在就来看看引入度量的限制后，空间变换又体现出什么特性。其实更一般地，我们不在线性变换的基础上作度量的限制，而是先直接研究度量限制下的映射。为此定义保持内积不变的映射为保距映射（式（22）），首先保距映射显然保持向量的长度、距离和角度不变，这样的映射很有应用价值。接下来你容易验证式（23）成立，从而保距映射必定是线性映射。

$$\begin{array}{}\text{(22)}& \phi :V\mapsto V^{\prime }:\phi (\alpha )\cdot \phi (\beta )=\alpha \cdot \beta ,\mathrm{\forall }\alpha ,\beta \in V\end{array}$$

$$\begin{array}{}\text{(23)}& {\Vert \phi (\alpha +\beta )-\phi (\alpha )-\phi (\beta )\Vert }^2=0;{\Vert \phi (k\alpha )-k\phi (\alpha )\Vert }^2=0\end{array}$$

　　最后使用反证法，容易知道保距映射是单射，对于有限维空间它显然是双射，对无限维空间还需要求映射是满射。有双射保距映射的内积空间称为是保距同构的，也记作$V\cong V^{\prime }$。保距同构的有限维内积线性空间的维数必然相同，反之对维数相同的两个内积线性空间，分别取它们的一组标准正交基作为映射的像和原像。容易验证映射是保距映射，从而有限维内积线性空间保距同构的充要条件是：它们的维数相同。

　　当保距变换作用于空间自身时，自然就是一种特殊的线性变换$\mathcal{A}$，它被称为酉变换（实数域上又叫正交变换）。对有限维内积线性空间，线性变换是酉变换的充要条件是：一组标准正交基被变换为另一组标准正交基，即线性变换的矩阵$A$是酉矩阵。酉变换是比可逆线性变换条件更强的变换，保距性使得它更具有使用价值，后面我们会继续讨论酉变换下的空间结构。

　　由于正交矩阵的行列式为$\pm 1$，为此把正交变换分为两类，第一类的行列式为$1$，也叫旋转，这个概念来自于几何空间。第二类的行列式$-1$，设$\mathcal{P}$是到某个一维子空间的正交投影，则易证$\mathcal{I}-2\mathcal{P}$是第二类的，它被称为镜面反射。其实还容易证明，任何一个第二类的正交变换，都是一个旋转叠加上奇数个镜面反射得来。

　　对于线性变换，最重要的就是研究它的不变子空间的分割，而酉变换的保距性为我们的研究提供的很好的工具。设$W$是$V$的不变子空间，由于$V=W\oplus W^{\perp }$，我们来考察$W^{\perp }$。设$\alpha \in W,\beta \in W^{\perp }$，由于$\mathcal{A}$是双射，则存在$\alpha =\mathcal{A}{\alpha }^{\prime }$，从而有式（24）的推导。也就是说$\mathcal{A}\beta \in W^{\perp }$，所以$W^{\perp }$也是$\mathcal{A}$的不变子空间，这样$W\oplus W^{\perp }$就是$V$的一个不变子空间分割。

$$\begin{array}{}\text{(24)}& \mathcal{A}\beta \cdot \alpha =\mathcal{A}\beta \cdot \mathcal{A}{\alpha }^{\prime }=\beta \cdot {\alpha }^{\prime }=0\end{array}$$

　　设$\mathcal{A}$有特征值$\lambda$及其特征向量$\eta$，由式（25）的推导可知$|\lambda |=1$。在复数域中，特征值总是存在的，设$W=⟨\eta ⟩$，则由刚才的结论知$\mathcal{A}{|}_{W^{\perp }}$仍然是正交变换。使用归纳法可知$V$有不变子空间分割$⟨{\eta }_1⟩\oplus \cdots \oplus ⟨{\eta }_n⟩$，其中$\mathcal{A}{\eta }_i={\lambda }_i{\eta }_i$，而特征值${\lambda }_i$的模都为$1$。这就是说酉变换的度量矩阵相似于一个对角矩阵，特别地，酉矩阵也可以对角化。酉矩阵是酉变换在一组标准正交基下的度量矩阵，对角化后的一组基$\{{\eta }_1,\cdots ,{\eta }_n\}$是正交的且很容易单位化，故酉矩阵的对角化时的过渡矩阵也可以是酉矩阵。换句话说，任何对任何酉矩阵$A$，总存在酉矩阵$P$使得式（26）成立，其中${\lambda }_i$是$A$的所有特征值。

$$\begin{array}{}\text{(25)}& \eta \cdot \eta =\mathcal{A}\eta \cdot \mathcal{A}\eta =\lambda \eta \cdot \lambda \eta =|\lambda {|}^2(\eta \cdot \eta )\end{array}$$

$$\begin{array}{}\text{(26)}& PA{P}^{-1}=\text{diag}\{{\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n\}\end{array}$$

　　上面的讨论中，我们充分借助了变换在内积上形式特点，讨论了不变子空间的分割，并且借助于正交性，将相似限定在标准正交基上。由于酉矩阵同时充当了相似和合同的过渡矩阵，这还为两类问题找到了一个连接的通道。沿着这个思路，下面将继续使用内积来讨论线性变换，并得到在标准正交基下的不变子空间分割。