线性代数14.正交向量与子空间

正交向量

正交是垂直的另一种说法，她意味着在 \(n\) 维空间中，这些向量的夹角是90度。

两个向量正交的条件：

\[x^Ty=0 \]

\(x、y\) 表示列向量，\(x^T\) 表示行向量，这个式子就是矩阵乘法中的行点乘列。如果结果为0，那么就说明两个向量正交。

证明

首先需要理解向量长度的平方在线代中怎么表示？

假设有向量 \(x=\left( \begin{array}{c} 1 \\ 2 \\ 3 \\ \end{array} \right)\) , 长度平方就是

\[1+2^2+3^2=14 \]

与她正交的向量是 \(y=\left( \begin{array}{c} 2 \\ -1 \\ 0 \\ \end{array} \right)\) ,\(y\) 长度平方是 \(5\) .

\(x+y=\left( \begin{array}{c} 3 \\ 1 \\ 3 \\ \end{array} \right)\) ,\(x+y\) 的长度是 \(19\) .

会发现，长度的平方正好是 向量的转置乘以其本身。

比如 \(x=\left( \begin{array}{c} 1 \\ 2 \\ 3 \\ \end{array} \right)\) ,\(x^T=\left( \begin{array}{ccc} 1 & 2 & 3 \\ \end{array} \right)\) ,相乘有

\[x^T.x=\left( \begin{array}{ccc} 1 & 2 & 3 \\ \end{array} \right).\left( \begin{array}{c} 1 \\ 2 \\ 3 \\ \end{array} \right)=14 \]

我们可以用这种方法表示任意实向量的长度的平方。

在一个直角三角形中

当 \(x\) 与 \(y\) 垂直时，有

\[\left\|x\|^2+\left\|y\|^2\right.\right.=\left\|x+y\|^2\right. \]

可以表示为

\[x^T.x+y^T.y=(x+y)^T.(x+y) \]

展开

\[x^T.x+y^T.y=x^T.y+x^T.x+y^T.x+y^T.y \]

消掉同类项有

\[0=x^T.y+y^T.x \]

因为我们进行的是向量点乘，所以 \(x^T.y=y^T.x\) ，都是$x_1y_1+x_2y_2+x_3y_3+...+x_ny_n $所以

\[x^T.y=0 \]

故，两个正交向量的点积是0.

如果 \(x\) 是零向量，\(y\) 是非零向量，两个正交吗？

是。数学重要的一点就是跟着规则走。

零向量和任何向量都正交。

正交子空间

定义

定义子空间 \(S\) 与 子空间 \(T\) 正交， 意味着，\(S\) 中任意一个向量都与 \(T\) 中任意一个向量正交。

前提

假设在一个房间中，一面无限延申的墙和地板，可以把她们看成经过原点的子空间，她们正交吗？

不是，比如交线和一个在墙上与其成45°的向量，她们不正交。

所以如果两个子空间在某个非零向量处相交，就绝不是正交子空间。因为这个向量同属于两个子空间。

所以两个子空间正交的前提是，她们一定不会交于某个非零向量。

四个基本子空间的正交性

四个基本子空间中，有

1. 行空间和零空间正交
2. 列空间和左零空间正交

证明

行空间正交于零空间。

我们知道零空间是

\[Ax=\left( \begin{array}{c} \text{row1} \\ \text{row2} \\ ... \\ \text{rown} \\ \end{array} \right).(x)=\left( \begin{array}{c} 0 \\ 0 \\ ... \\ 0 \\ \end{array} \right) \]

这个式子就告诉我们，\(A\) 的每行点乘 \(x\) 结果为0. \(x\) 于 \(A\) 的所有行都正交。

但行空间是行向量的所有的线性组合，我们还需要验证 \(x\) 是否垂直于她们的线性组合。

假设行空间可以表示为

\[c1.(row1)+c2(row2)=c(row1+row2) \]

有

\[\begin{align} &c(row1+row2).x\\ =&c1.(row1).x+c2.(row1).x\\ =&0 \end{align} \]

所以行空间中的行向量都垂直于零空间中的 \(x\) .证毕。

行空间和零空间正交，表示把 \(n\) 维空间分割为两个子空间。

列空间和左零空间正交的证明与上面类似。只需要从 \(A^Ty=0\) 出发即可。

列空间和左零空间正交，表示把 \(m\) 维空间分割为两个子空间。

补充

以三维空间中的正交子空间为例。

假设有两条过原点的直线，相互垂直，她们可以构成行空间和零空间吗？

不能，因为两个子空间都是一维，维数和不等于3.

例如：

\[A=\left( \begin{array}{ccc} 1 & 2 & 5 \\ 2 & 4 & 10 \\ \end{array} \right) \]

可得，\(n=3\)，\(r=1\)，故 \(dim[N(A)]=2\)，零空间是垂直于向量 \((1\quad 2 \quad5)\) 的一个平面。在微积分中，\((1\quad 2 \quad5)\) 是这个平面的一个法向量。

需要强调一点的是：

对于行空间正交于零空间，正交子空间的维数之和等于整个空间的维数。我们把这称为 \(n\) 维空间的正交补。

这表示零空间包含所有垂直于行空间的向量，而不只是部分。

Ax=b的无解情况

无解情况

\(Ax=b\) 的无解的时候怎么求解？

这种情况很常见，比如 \(A\) 是长方矩阵，\(m>n\) ,右侧的取值在大部分的情况下方程组是无解的。

联系实际情况，假设测量脉搏，为了测量准确性可能测量多次，在多次测量时，结果可能有一些是“坏数据”。（比如护士太漂亮心跳加速）但我们不知道哪一个数据有问题。而且其中也包含很多有用数据。

我们需要做的是，把“坏数据”筛选出来。这正是线性代数需要解决的问题。

用代数语言描述，就是我们得到一些方程，如何求出她们的最优解？

其中一种方法就是不断去掉一些方程，直到出现有解情况。但这种方法并不完美，因为我们无法知道哪些是有用数据，哪些是无用的，我们希望利用所有的测量值求出“最优解”，从而得到最完整的信息。

解决方法

\(Ax=b\) 无解，把两边同时乘以 \(A^T\) ,就能得到“好方程”:

\[A^TA\hat{x}=A^Tb \]

这个方程是本章核心内容。

注意，\(\hat{x}\) 与原本 \(x\) 是不同的。

对于 \(A^TA\) ,我们知道，\(n*m\) 乘以 \(m*n\) 可以得到一个 \(n*n\) 方阵，而且是对称方阵，因为 \(（A^TA）^T=A^TA^{TT}=A^TA\) .

我们希望求解 \(\hat{x}\) .

\(A^TA\) 性质

\[\left( \begin{array}{cc} 1 & 1 \\ 1 & 2 \\ 1 & 5 \\ \end{array} \right)\left( \begin{array}{c} x_1 \\ x_2 \\ \end{array} \right)= \left( \begin{array}{c} b_1 \\ b_2 \\ b_3 \\ \end{array} \right) \]

只有 \(b\) 在 \(A\) 的列空间中才有解。但在实际情况，可能不能得偿所愿。

我们采用上面方法，\(A\) 乘以 \(A^T\) ,我们可以得到

\[\left( \begin{array}{ccc} 1 & 1 & 1 \\ 1 & 2 & 5 \\ \end{array} \right).\left( \begin{array}{cc} 1 & 1 \\ 1 & 2 \\ 1 & 5 \\ \end{array} \right)=\left( \begin{array}{cc} 3 & 8 \\ 8 & 30 \\ \end{array} \right) \]

\(\left( \begin{array}{cc} 3 & 8 \\ 8 & 30 \\ \end{array} \right)\) 是可逆方阵。

但注意结果并不一定是可逆的。比如

\[\left( \begin{array}{ccc} 1 & 1 & 1 \\ 3 & 3 & 3 \\ \end{array} \right).\left( \begin{array}{cc} 1 & 3 \\ 1 & 3 \\ 1 & 3 \\ \end{array} \right)=\left( \begin{array}{cc} 3 & 9 \\ 9 & 27 \\ \end{array} \right) \]

\(A^TA\) 重要性质：

\[rank\quad of\quad A^TA = rank\quad of\quad A \]

\[N（A^TA）=N(A) \]

\(A^TA\) 可逆，当且仅当 \(A\) 的各列线性无关。

下节课证明。