线性代数及其应用(最小二乘、PCA、SVD)
第六章 正交性与最小二乘
正交投影(可以用于正交化、解释最小二乘,QR分解用于最小二乘)
最小二乘也是唯一的
正交化方法
使用正交基计算投影(用于最小二乘)
QR分解(使用正交化方法)
最小二乘问题的几何描述(寻找距离最近的投影)
有唯一解的条件
另一种解法
其他曲线的最小二乘拟合
对称矩阵和二次型
将多种像素重新线性组合,使得合成的图像景象差异更加明显。
对称矩阵的对角化
谱分解(特征值反映了在对应的特征向量的子空间投影的权重,例如A表示将圆映射为椭圆的矩阵,则其特征值反映了长轴和短轴)
特征值分解可以用于数据压缩(只需要大的特征值和对应的特征向量就可以近似原来的矩阵)
主轴定理(去掉二次型的交叉项)
通过特征值求解二次型最大值
有条件限制时求解最大值(单位球上的向量,在第二大特征值特征向量方向取得)
奇异值分解
使用二次型求解最大拉伸方向
注意Av是A的列空间的正交基
注意Av是A的列空间的正交基
奇异值分解的步骤
莫尔逆矩阵:直接得到b在A的列空间的正交投影,直接求解最小二乘x
主成分分析(正交回归):可以使得不同维度分量组合后的方差最大,或者是得到使得投影后方差最大的方向。计算协方差矩阵的特征值,用对应的特征向量作为权值将原变量线性组合,使得组合后的变量方差最大。
PCA把原先的n个特征用数目更少的m个特征取代,新特征是旧特征的线性组合,这些线性组合最大化样本方差,尽量使新的m个特征互不相关。
计算方法:
1.有m个d-维数据,每个d维数据表示为列向量,将列向量拼成m列。得到d行m列的矩阵。
2.计算协方差矩阵。
3.计算S的特征值和特征向量
。(
)
4.选取前k个最大特征根对应的特征向量,得到矩阵
5.AX相乘得到投影矩阵。
PCA把原先的n个特征用数目更少的m个特征取代,新特征是旧特征的线性组合,这些线性组合最大化样本方差,尽量使新的m个特征互不相关。