梯度下降法-理解共轭梯度法
共轭梯度法关键是要找正交向量寻找方向,去不断逼近解。
其本质是最小二乘解的思想
最小二乘解
其中A系数矩阵是确定的,Ax是永远都取不到向量 b的,取得到那就是不用最小二乘解
我要求AX和b最小的距离,就是要求b在Ax上的投影,向量b-AX一定是要垂直于AX的
对A要求要满秩
我的最小二乘法在于找到X,一开始我不理解迭代,因为很明显这一步就能得到结果,共轭梯度法就是要逼近
共轭梯度法
1.换一种求解方式
2.
等于
,而且A满秩,所以二次项里面的那个矩阵正定。
把 目标函数展开,化简,对每一项求ai 偏导,求出X的系数(在此假设已经找到了一组基能够表示X)
对ai求偏导算出
这里解释为什么A正定
3.寻找X使得最小
4.首先要在张成的子空间上找到一组基来表示 x
5.事实上,已经有了一组基能表示空间
因为,x0等于0,所以r0等于b
因为,所以
才相等
向量 pk 与向量b 同维,乘在一起数是相同的,相减就是0
因为来表示解很不方便,所以需要构造另外一组基
来表示x
成立
由一组正交基导出正交基,自然想到了斯密特正交化
比较难以理解的地方是
因为A是正定矩阵,所以A 的转置等于A自己 但是Pk的转置等于pk t
这里消除了 i 前面,所有项
是因为
再加上
后面的基本上都看得懂