线性代数学习笔记（四）

四个子空间的正交性

矩阵A的四个子空间是：row space, column space, nullspace and left nullspace，其中：

• row space and nullspace are orthogonal complements
• column space and left nullspace are also orthogonal complements

orthogonal complements 的概念

SPACEA 和 SPACEB 是orthogonal complements的意思是：SPACEA中的任意向量 都和 SPACEB中的任意向量垂直（orthogonal），且dim(SPACEA) + dim(SPACEB) = n，所有与SPACEB垂直的向量都在SPACEA中（complement）

三维空间中，只有：①点 和 整个三维空间；②线 和 垂直于线的平面  才能是orthogonal complements，线和线即使垂直也不是，因为不满足complement这个条件！面和面更不行，orthogonal和complement都不满足！

orthogonal complements 的意义

complement的意义是：任意一个x都能唯一地分为一个row space component x_r 和一个nullspace component x_n，Ax = Ax_r+Ax_n，如图所示：

• 可划分：row space的basis与nullspace的basis构成了n个独立的basis，所以可以表达任意的x
• 唯一性：每个b都只有一个x_r与之对应，如果有两个的话，Ax_r1-Ax_r2=0，x_r1-x_r2即属于row space又属于nullspace，决定了x_r1=x_r2，x_n随之唯一。

（并不是所有的b都在column space中，假如Ax=b无解时，b就不是A的column的线性组合，b也就不再A的column space中了。）

Projection matrix

几个性质

• 因为任何投影向量p（=Pb）都在P的column space中，所以rank(P)与投影到的子空间维数有关：投影到一条线时，rank(P)=1;一个面时，rank(P)=2；以此类推。
• 联系几何意义，PP=P（也可以从P的公式出发证明）
• I-P 也是投影矩阵，其空间与P的子空间互为orthogonal：(I-P)b=b-Pb=b-p=e
  
• P^T=P：从P的公式推导即可
• 分解后p在A的column space中（p=Ax），e在A^T的nullspace中（A^Te=0）。

寻找投影矩阵P的步骤

寻找向量b在矩阵A构成的column space的投影\( p = A\hat{x} \)的步骤：

1. 通过error vector e=b-p与column space垂直，找出向量 \( \hat{x} \) ;
2. find the projection \( p = A\hat{x} \);
3. find the matrix \( P \). 

第一步：找出向量\( \hat{x} \) 

A的列向量是所代表的子空间的基，所以向量\( \hat{x} \) 的意义是找到这组基的一个线性组合，来代表投影向量\( p=A\hat{x} \) 。

写成：\( A^T(\mathbf{b}-A\mathbf{\hat{x}})=\mathbf{0} \)

得到：\( \mathbf{\hat{x}}=(A^TA)^{-1}A^T\mathbf{b} \)

括号不能去除，因为单独的一个A可能不可逆（但是A^TA可逆，因为A^TA的秩和A的秩相同，而A的秩等于A的列向量数目）！

第二步与第三步

\( p=A\mathbf{\hat{x}}=A(A^TA)^{-1}A^T\mathbf{b} \)

\( P=A(A^TA)^{-1}A^T \)

A^TA的性质

对任何A，都有rank(A^TA)=rank(A)=rank(A^T)

解法是证明二者具有一模一样的nullspace，因此二者rowspace的dimension相同（参见图“四个子空间”）：A^TAx=0 <=> Ax=0

• 向左：容易
• 向右：（左）x^TA^TAX=(Ax)^TAx=||Ax||²=（右）x^T0=0，故Ax=0

当A的列向量都独立时，也就是rank(A)=n时，A^TA可逆

比较简单，列向量都独立，则必有m>=n，故A^TA是一个n*n的矩阵且满秩。

当A的行向量都独立时，A^TA不一定可逆：只有当m=n时才可逆；否则有m<n，这样A^TA是一个n*n的矩阵，秩为m<n，因此不可逆。

A^TA对称

由公式证明：(A^TA)^T=A^TA^TT=A^TA

直观上理解：A^TA的第(ｉ，ｊ)个entry是 A^T的第ｉ行（也就是A的第ｉ列的转置） 与 A的第ｊ列 的点乘，第(ｊ，ｉ)个entry是 A^T的第ｊ行（也就是A的第ｊ列的转置） 与 A的第ｉ列 的点乘。

当A的列向量都互相垂直时，A^TA是对角线矩阵；当列向量长度都为1时，A^TA=I

证明比较简单。

详见orthogonal bases and Gram-Schmidt