最小二乘法

参考文献：https://www.zhihu.com/question/37031188 来自知乎：最小二乘法的本质，详细的介绍了最小二乘法的起源，用途等

　　　　https://zhuanlan.zhihu.com/p/26032019

　　　　

一、什么是最小二乘法？

　　最小二乘法（Least Squares Method，简称为LSE）是一种数学优化技术，又称为最小平方法。

　　再来说一下历史，法国科学及勒让德于1806年独立发明最小二乘法；

　　1829年，高斯提供了最小二乘法的优化效果强于其他方法的证明，因此被称为高斯-马尔科夫定理。

　　这是一个古老的方法，源于天文学和测地学上。

 

二、最小二乘法的定义

　　勒让德提出的最小二乘法的主要思想就是，选择未知参数，使得理论值与观测值之差的平方和最小：

　　　　　　　　

　　是不是觉得这个公式又简单又熟悉呢？觉得它平淡无奇！这是因为如今大家的小学教育中、深初中教育中接触了这些思想，理解起来自然容易，这是在前人没有的基础上创造性的的突破。

　　高斯把正态分布与误差理论联系起来，是数理统计史上最大的成就之一，

　　　　....未完待续