最小二乘法
最小二乘法
E = || ax - b || = [(a_1 x - b_1)^2 + (a_2 x - b_2)^2 + ... + (a_m x - b_m)……2 ]^2，这里
|| ||表示模，如果用T表示转置的话，平方值为
E^2 = (ax-b)^T(ax-b) = a^T a x^2 - 2a^T bx + b^T b
档\frac{dE^2}{dx} = 2 a^T ax - 2 a^Tb = 0时， E^2有最小值，即最小二乘解<x>为
<x> = (a^T a)^{-1}a^T b
