浅理解最小二乘法以及加权方法

首先问题：最小二乘法是什么？主要用于什么？怎么计算？

1.最小二乘法是什么？

　　答：最小二乘法是是一种数学优化方法，常用于拟合数据、回归分析和参数估计等问题。其基本思想是通过最小化观测值与拟合值之间的误差平方和来确定模型参数的最优解。

2.主要用于什么？

　　答：用于拟合数据和参数估计。通过最小化观测值与拟合值之间的误差平方和，可以找到对数据拟合效果最优的模型参数。对于线性回归问题，最小二乘法的目标是找到一条直线（或者更一般的曲线），使得所有数据点到该直线的垂直距离的平方和最小。这可以通过求解一个最小化误差平方和的优化问题来实现。不仅可以用于线性回归问题，还可以扩展到非线性回归、多项式回归等问题。在实际应用中，最小二乘法被广泛用于数据拟合、信号处理、图像处理、金融分析。

3.怎么计算？

　　答：minimize Σ(yi - f(xi))^2

4.提出问题：如果说在我们数据中有异常值，而最小二乘法对异常值敏感，因为误差平方和会放大异常值的影响。怎么办？

　　答：加权最小二乘法

　　　　提出两种加权方式：

　　　　　　①方差反比权重（Inverse Variance Weighting）：将数据点的权重设为其方差的倒数。这样可以使得方差较小的数据点在拟合中起到更大的作用。

　　　　　　　　计算步骤：(1)计算每个数据点的残差：残差 = 观测值 - 拟合值。

　　　　　　　　　　　　　(2)SSE(残差平方和) = Σ(残差^2)。　

　　　　　　　　　　　　　(3)方差 = SSE / (n - p)，其中n是样本数量，p是模型的参数个数。

　　　　　　　　　　　　　(4)计算每个数据点的方差的倒数：权重 = 1 / 方差

　　　　　　②学生化残差权重（Studentized Residual Weighting）：根据数据点的学生化残差（studentized residual）来赋予权重。

　　　　　　　　计算步骤：(1)计算每个数据点的残差：残差 = 观测值 - 拟合值。

　　　　　　　　　　　　　(2)标准差 = sqrt(SSE / (n - p))

　　　　　　　　　　　　　(3)学生化残差 = 残差 / 标准差

　　　　　Point：标准差 = 方差开根号

　　　　　　　　 方差 = 标准差的平方