本小节从内积空间的角度来看最小二乘法，内容来自b站周建华老师的工程矩阵论P11的40分钟处.
问题
设 \(A\in C^{s\times n}\)，求线性方程组 \(Ax=b\) 的最佳近似解。
解答
由于问题中的等式通常没有常数解（等式数大于未知数个数），则应求最佳近似解。设 \(Ax=b'\)，则最佳近似解应使得 \(b-b'\) 最小，\(b'\in R(A)\)。
要使得 \(b-b'\) 最小，根据19节（正投影）中的定理，可知 \(b'\) 应该是 \(b\) 在 \(R(A)\) 的正投影，即 \((b-b')\perp R(A)\)，则有如下等价问题：
\[\begin{aligned}
(b-b')\perp R(A) &\Leftrightarrow (b-b')\in R(A)^\perp =K(A^H)\\
&\Leftrightarrow A^H(b-b')=\theta \\
&\Leftrightarrow A^Hb = A^Hb' \\
&\Leftrightarrow A^Hb = A^HA x_0
\end{aligned}
\]
上式中第一个等式用了18节（值域和核空间的正交补空间）中的结论。
最后一个式子中的 \(A^HA x_0 = A^Hb\) 恒有解 \(x_0\)，参见2节（共轭转置的秩和解空间）。
这样，就可以求出 \(Ax=b\) 的最佳近似解为 \(x_0\)。
