最小二乘求解常数k使得kx=y(x,y为列向量)
直接求解法
取范数
\[E(k)=\|kx-y\|^{2}\\
\]
构建最小二乘得出
\[\arg \min (E(k))=k^2x^Tx+y^Ty-2x^Tyk
\]
对k求导有
\[2x^Txk-2x^Ty=0
\]
解得
\[k = \frac{x^Ty}{x^Tx}
\]
带初值的增量求解法
取k的初始值为\(k_1\),增量值为\(k_2\),由上述直接法可知
\[k = k_1+k_2 =\frac{x^Ty}{x^Tx}\\
k_2 = \frac{x^Ty}{x^Tx}-k_1=\frac{x^Ty-k_1x^Tx}{x^Tx}=\frac{x^Ty-k_1x^Tx}{x^Tx}
\]
因此可利用\(k_1\)求解\(k_2\)进而得到\(k\)