[作者:byeear Email:east3@163.com 首发www.cnblogs.com 转载请注明]
回忆学校的美好时光,一起来复习下曾经的课程吧。
1. 内积:如果u和v是Rn空间的向量,u和v的内积定义为:
u·v = uTv
内积满足交换律。
2. u·u≥0,在u=0时取等号。
3. 向量的长度即向量的范数,记作||v||。
||v||=sqrt[∑(vi2)]
4. 向量的距离dist(u,v)=sqrt(∑[(ui-vi)2])
5. 两个向量正交 <=> u·v=0 <=> ||u+v||2=||u||2+||v||2
6. 若A为mxn矩阵,A的行向量空间的正交补空间是A的零空间,A的列向量空间的正交补空间是AT的零空间。
如果x是NulA中的向量,那么根据Ax=0,x与A的每一行正交;
如果x与A的每一行正交,那么x满足Ax=0,x是NulA中的向量。
7. 若W是Rn的子空间,那么W的正交补也是Rn的子空间。
8. u·v=||u|| ||v|| cosθ
9. 若Rn中的向量集合W中的任意两个不同向量都正交,该向量集称为正交向量集。非零正交向量集是线性无关集。
10. 一个向量y相对于该向量所在向量空间的某个正交基的坐标可根据下式计算;cj=(y·uj)/(uj·uj)
uj是基中的向量,cj是对应该向量的权。
如果基非正交,那么就必须求解线性方程组才能得到y相对于该基的坐标。
11. 若向量空间Rn的某个子空间W的某个正交基为{u1,...,up},向量y在W上的正交投影为:
Projwy=[(y·u1)/(u1·u1)]u1+...+[(y·up/up·up)]up
y=Projwy+z
向量z与向量空间W正交,z=y-Projwy。
和式中的每个分量是y在对应基向量上的正交投影Projuy。
Projwy是W中最接近y的点,或者说是W中元素对y的最佳逼近。
12. 如果U是具有单位正交列的mxn矩阵,x和y是Rn的向量,那么:
||Ux||=x
(Ux)·(Uy)=x·y
(Ux)·(Uy)=0 <=> x·y=0
即映射x->Ux不改变长度和正交性。
13. mxn矩阵U具有单位正交列向量的充分必要条件是UTU=I。
解释:若U具有单位正交向量,那么设其各列为u1,u2,u3...
有ui·ui=1,ui·uj=0(i≠j)。也就是UTU=I。
单位正交矩阵是一个可逆方阵且满足U-1=UT
14. 如果{u1,...un}是Rn子空间W的单位正交基,那么:
Projwy=(y·u1)u1+...+(y·up)up=UUTy
解释:Projwy是u中列的线性组合,权值为y·u1,...,y·up,或(权值)记为UTy,或者说在基{u1,...un}下 Projwy的坐标是y·u1,...,y·up。
于是(转到标准正交基下),Projwy=UUTy。
15. 若U是nxp矩阵且列单位正交,W是U的子空间,那么:
UTUx=Ipx=x
UUTy=Projwy
16. 对Rn非零子空间构造正交基的方法
假定Rn中子空间W有基{x1,...,xn}
选取v1=x1
从x2中除去其在v1(即x1)上的投影得到v2:v2=x2-Projv1x2
从x3中除去其在{v1,v2}上的投影得到v3:v3=x3-Projv1x3-Projv2x3
......
将以上正交基单位化即得到标准正交基。
17. QR分解
如果mxn矩阵A的列线性无关,那么A可以分解为QR,Q为mxn矩阵,其列为ColA的标准正交基;R为nxn上三角可逆矩阵。
QR分解实际上就是将A的列经标准正交化得到Q,而R=Q-1A=QTA。
回顾下将基正交化为Q的计算过程,就能理解为何R是上三角矩阵:正交基的第一个向量是原第一个向量或其单位化;正交基的第二个向量是原第二个向量减去其在第一个向量上的投影......。现在为了从Q得到A,要将本来减去的那部分重新加上。第一个向量不用加;第二个向量要加上原先减去的在第一个向量上的投影...。
18. 满足Ax=b的最小二乘解满足方程:
ATAx=ATb
该方程称为Ax=b的法方程。
19. 矩阵ATA可逆的充分必要条件是A的列线性无关。此时Ax=b有唯一最小二乘解(ATA)-1ATb
20. 内积空间:不严格的理解:在满足一定规则的前提下,我们可以对向量空间的两个向量作自定义运算,以满足实际要求。
例如给向量中的某个元素赋予更高的权值;或者对于元素为表达式的情况,对表达式中的变量仅取特定值。
21. 加权最小二乘:若W是元素(即权值)非负的对角矩阵,则最小二乘方程为(WA)TWAx=(WA)TWy