最小二乘法

一 常规最小二乘法拟合直线

    1 分析方法

     已知数据点为 ，欲拟合直线 ，则有最小化：。

              

    使用矩阵表示，令 ，则有：,

    X, Y已知，要使E最小化，则向量B求导等于零：，整理得：。

    2 线性代数方法

    在分析方法中，使用最小误差法拟合直线。这里还可以使用线性代数中正交原理得到相同结果。

    1）线到线上投影

         

    如上图所示，b 到 a 的投影为 p = xa，由于 e 与 a 垂直，有 (b - xa)a = 0，未知数为 x。

    求解方程得 ，。

    带入 x 值，计算出 b 到 a 的投影为 ，投影矩阵为 ，

    根据投影矩阵，b 到 a 的投影可重写为 。给定一个向量，可以求解出投影到该向量的投影矩阵，任意向量到给定向量的投影即为 Pb 。

    2）线到面上投影

        

    如上图所示，超平面为矩阵 A 的列空间构成（为了可视化，上图限制为二维平面，但结论对 N 维平面均适用），b 到平面 A 的投影为 p ，p 可表示为 。

    类似线到线投影，e = b - p，e 垂直于平面 A，有：

    ，，。

    带入 x 计算出 b 到平面 A 的投影为 ，投影矩阵为 。

    根据投影矩阵， b 到平面 A 的投影可重写为 。给定一个矩阵，可以求解出投影到该矩阵列空间构成的超平面上的投影矩阵，任意向量到给定矩阵列空间构成的超平面上的投影为 Pb。

    3）直线拟合

    设直线方程为 y = kx + b，对于任意点 (x,y)，带入直线方程得：

    ，当向量 落在矩阵  列空间构成得超平面外时，方程组无解。这也正是最小二乘法需要解决得问题。

   将向量  投影到矩阵  列空间构成的超平面，根据线到面上投影，可以寻找投影向量 p，改写方程为 ，该方程组有解。

   使用 作为原方程的最佳近似解，带入 ，解得 。

   对于方程组 Ax=b，当 b 不在矩阵 A 的列空间时，无法求得 x 精确解，但可以求得 x 的近似解，使得 。

   实际运算中，并不需要特意求解 P，只需对方程组做如下变换即可：

   。

 

二 使用垂直距离改写E

    常规最小二乘法有如下问题：

    1）数据点旋转后，求解得直线是变化的；

    2）垂直直线无法求解；

    通过修改 E 表达式，可以克服以上问题，如下图：

                  

    假设 ，图中直线方程  已经归一化，任意点 到直线的距离为 ，则有最小化：。

    上式中，a,b,d 均为未知量，首先对求偏导，有：，整理得：，

    将d代入E中得：。

    使用矩阵表示，令 ，有： ，

    对X求导，可得：，求解二元一次方程组  可计算处拟合直线。

 

三 RANSAC(Random Sample Consensus)

     

    如上图所示，少数离群点可使拟合出现较大偏差。因此，应该使用一些逻辑来降低离群点干扰，具体措施如下：

    1）随机选取一个子集，使用最小二乘法拟合直线；

    2）在规定得误差范围内计算合群点；

    3）多次选取不同的子集，继续1）2）操作；

    4）选择合群点最多模型作为拟合初步结果，使用该模型下所有合群点重新拟合直线，得到最终结果。