最小二乘问题

最小二乘问题是回归分析、最优控制以及许多参数估计和数据拟合方法的基础。它具有许多统计解释，例如，给定线性测量受到高斯测量误差的干扰下的向量 ( x ) 的最大似然估计。

将一个优化问题识别为最小二乘问题是直接的；我们只需要验证目标是一个二次函数（然后检验相关的二次型是否为正半定）。尽管基本的最小二乘问题有一个简单的固定形式，但几种标准技术被用于增加其在应用中的灵活性。

加权最小二乘

在加权最小二乘中，加权最小二乘代价为：

\[\sum_{i=1}^{k} w_i (a_i^T x - b_i)^2 \]

其中，\(w_1, ..., w_k\) 是正数，被最小化。这个问题可以轻松地转化并解决为一个标准的最小二乘问题。这里的权重 \(w_i\) 是选择来反映对项 \(a_i^T x - b_i\) 大小的不同关注程度，或者简单地说，来影响解决方案。在统计设置中，加权最小二乘出现在给定线性测量受到具有不等方差的误差的干扰下的向量 \(x\) 的情境中。