从最大似然估计到最小二乘法

这一部分内容和吴恩达老师的CS229前面的部分基本一致，不过那是很久之前看的了，我尽可能写的像吴恩达老师那样思路缜密。

1.假设

　　之前我们了解过最大似然估计就是最大化似然函数$$L(\theta) = \sum log(p(x_{i}|\theta))$$

　　来确定参数\(\theta\)，假设我们独立测量的结果X(x1,x2,x3...)是有误差的，且每个测量结果的误差分布相同，即独立同分布。我们再假定测量结果满足以真实结果\(f(x|\theta)\)为均值，方差为\(\sigma\),标准差为\(\delta\)的高斯分布，注意这里的\(\theta\)指最优的参数解，但它是未知的。

2.推导

　　在给出一定假设后，我们根据最大似然估计的方法来进行推到。首先我们假定测量结果的分布函数后，可以得到以\(\theta\)为参数时，预测结果等于测量结果的概率：

　　$$p(x=xi|\theta) = \frac{1}{\sqrt{2\pi}\delta} e^{-\frac{(xi-f(x|\theta))^{2}}{2\sigma^{2}}}$$

　　进而对数似然函数变为：

　　$$L(\theta) = \frac{1}{\sqrt{2\pi}\delta}\sum -\frac{(xi-f(x|\theta))^{2}}{2\sigma^{2}}$$

　　我们最大化似然函数，等同于最大化求和部分：

　　$$\widehat(L)(\theta) = \sum -\frac{(xi-f(x|\theta))^{2}}{2\sigma^{2}}$$

　　我们要求的\(\theta\)有：

　　$$\theta = argmax \sum -\frac{(xi-f(x|\theta))^{2}}{2\sigma^{2}}$$

　　等同于：

　　$$\theta = argmin \sum \frac{(xi-f(x|\theta))^{2}}{2\sigma^{2}}$$

　　进一步化简有：

　　$$\theta = argmin \sum (xi-f(x|\theta))^{2}$$

 3.分析

　　通过上面推导，我们发现，在假定测量误差满足独立同分布时，最大似然估计和最小二乘法有一定的相通性，但这并不表明二者是相同的！最大似然估计是要满足预测结果和测量结果一致的概率最大，而最小二乘法估计要满足预测结果和测量结果尽可能接近（二范式距离的平方最小），二者的测度和出发点不一样，但又有联系。