线性代数 | 最小二乘法的直观理解


两分钟理解最小二乘法!


最小二乘法的使用场景

在线性方程组 Ax=b 无解时,用最小二乘法来求近似解。

最小二乘法的公式

ATAx=ATb 的解 x(这个方程组一定有解),即为最小二乘法的近似解。

直观理解

直观上,Ax=b 有解 b 落在 A 的列向量组成的超平面上。求解 Ax=b,就是求一组线性组合的系数 x,使得 A 的列向量的线性组合,正好落在 b 的位置。

反之,Ax=b 无解 b 不落在 A 列向量的超平面上。此时,在 A 超平面上寻找离 b 最近的点,是一个求近似解的思路。

如图所示,假设 P 点代表 b 的位置,我们就要寻找 O 点,使得 PO 连线垂直于超平面 A,作为近似解 x

preview

O 点坐标为 Ax,P 点坐标为 b,所以向量 PO 为两个坐标相减(Axb)。我们希望这个向量垂直于超平面 A,也就是说,垂直于组成超平面的所有列向量,即 A 的所有列向量。

两个向量 d1,d2 相互垂直(向量正交) 内积为零;用向量转置相乘计算内积,即 d1Td2=0。所以,Axb 垂直于 A 的所有列向量,可以写为 AT(Axb)=0,也就是 ATAx=ATb


你学会了嘛?😉


本站其他相关博客:



本文作者:MoonOut

本文链接:https://www.cnblogs.com/moonout/p/16689170.html

版权声明:本作品采用知识共享署名-非商业性使用-禁止演绎 2.5 中国大陆许可协议进行许可。

posted @   MoonOut  阅读(803)  评论(0编辑  收藏  举报
点击右上角即可分享
微信分享提示
评论
收藏
关注
推荐
深色
回顶
收起
  1. 1 Sibelius: Violin Concerto in D Minor, Op. 47:III. Allegro, ma non tanto Jascha Heifetz / Chicago Symphony Orchestra
Sibelius: Violin Concerto in D Minor, Op. 47:III. Allegro, ma non tanto - Jascha Heifetz / Chicago Symphony Orchestra
00:00 / 00:00
An audio error has occurred.