广义逆的来源

        广义逆公式由来，原始公式是这样

                                                                  \(XW=Y\)

         X 代表我们的样本矩阵，W 是我们要求的权重，Y 是标签，那么直观想法就是两边同乘一个X的逆变成下面的公式

                                 \({{X}^{-1}}XW={{X}^{-1}}Y\quad \ \Rightarrow \quad IW={{X}^{-1}}Y\quad \ \Rightarrow \quad W={{X}^{-1}}Y\)

        这个想法是极好的，但是面临一个问题，即我们的样本矩阵可能是不满秩的（逆不存在），因为我们都知道X的大小不是方阵，是样本数量N×特征数量m大小的。N一般远大于m，那么怎么办呢？

        哎，我就想到，我X不是个方阵，我先两边左乘做成一个X的转置，变成

                                                               \({{X}^{T}}XW={{X}^{T}}Y\)

        \({{X}^{T}}X\)肯定就是方阵，还是满秩的，这样一来我就可以使用两边同时左乘逆了，即

                                       \({{({{X}^{T}}X)}^{-1}}{{X}^{T}}XW={{({{X}^{T}}X)}^{-1}}{{X}^{T}}Y\ \Rightarrow \quad W={{({{X}^{T}}X)}^{-1}}{{X}^{T}}Y\)

        这样就能算出权重W了，其中\({{({{X}^{T}}X)}^{-1}}{{X}^{T}}\)就叫X 的广义逆。

        为什么要叫广义逆呢，我觉得是因为从第一个公式的角度出发，我有一个这样的关系，我要求权重 W ，我只要左乘一个 X 的广义逆就可以得到了。

        这样就和 X 是满秩的情况统一了，你满秩，我就直接左乘你的逆，你不满秩，我就直接左乘你的广义逆。