最大似然估计——统计学（十一）

最大似然估计（Maximum Likelihood Estimation, MLE）是一种用于统计推断的方法，旨在通过给定的数据找到使观测数据出现概率最大的参数值。极大似然估计法（the Principle of Maximum Likelihood ）由高斯和费希尔（R.A.Figher）先后提出，是被使用最广泛的一种参数估计方法，该方法建立的依据是直观的最大似然原理。通俗理解来说，就是利用已知的样本结果信息，反推最具有可能（最大概率）导致这些样本结果出现的模型参数值！换句话说，极大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。极大似然估计（Maximum likelihood estimation）可以简单理解为我们有一堆数据（数据之间是独立同分布的.iid），为了得到这些数据，我们设计了一个模型，极大似然估计就是求使模型能够得到这些数据的最大可能性的参数，这是一个统计（statistics）问题。

与概率（probability）的区别：概率是我们已知参数$\theta$来预测结果，比如对于标准高斯分布$X～N(0,1)$，我们知道了确切的表达式，那么最终通过模型得到的结果我们大致也可以猜测到。但是对于统计问题，我们预先知道了结果，比如我们有10000个样本（他们可能服从某一分布，假设服从高斯分布），我们的目的就是估计$\mu \& \sigma$使得我们假设的模型能够最大概率的生成我们目前知道的样本。

一、问题引入

1.1 例1

假如有一个罐子，里面有黑白两种颜色的球，数目多少不知，两种颜色的比例也不知。我 们想知道罐中白球和黑球的比例，但我们不能把罐中的球全部拿出来数。现在我们可以每次任意从已经摇匀的罐中拿一个球出来，记录球的颜色，然后把拿出来的球 再放回罐中。这个过程可以重复，我们可以用记录的球的颜色来估计罐中黑白球的比例。假如在前面的一百次重复记录中，有七十次是白球，请问罐中白球所占的比例最有可能是多少？

很多人马上就有答案了：70%。而其后的理论支撑是什么呢？

我们假设罐中白球的比例是$p$，那么黑球的比例就是1-$p$。因为每抽一个球出来，在记录颜色之后，我们把抽出的球放回了罐中并摇匀，所以每次抽出来的球的颜色服从同一独立分布。

这里我们把一次抽出来球的颜色称为一次抽样。题目中在一百次抽样中，七十次是白球的，三十次为黑球事件的概率是$P$(样本结果|Model)。如果第一次抽象的结果记为$x_1$,第二次抽样的结果记为$x_2$....那么样本结果为($x_1$,$x_2$,...,$x_{100}$)。这样，我们可以得到如下表达式：

$$P(样本结果|Model) 　　= P(x_1,x_2,...,x_{100}|Model)\\ 　　= P(x_1|Model)P(x_2|Model)…P(x_{100}|Model)\\ 　　= p^{70}(1-p)^{30}$$

好的，我们已经有了观察样本结果出现的概率表达式了。那么我们要求的模型的参数，也就是求的式中的$p$。
那么我们怎么来求这个$p$呢？不同的$p$，直接导致$P（样本结果|Model）$的不同。好的，我们的$p$实际上是有无数多种分布的。如下：

$p$(白球的比例）	1-$p$(黑球的比例）		$p$(白球的比例）	1-$p$(黑球的比例）
50%	50%		70%	30%

那么问题来了，既然有无数种分布可以选择，极大似然估计应该按照什么原则去选取这个分布呢？
采取的方法是让这个样本结果出现的可能性最大，也就是使得$p^{70}(1-p)^{30}$值最大，那么我们就可以看成是$p$的方程，求导即可！
那么既然事情已经发生了，为什么不让这个出现的结果的可能性最大呢？这也就是最大似然估计的核心。
我们想办法让观察样本出现的概率最大，转换为数学问题就是使得：
$p^{70}(1-p)^{30}$最大，未知数只有一个$p$，我们令其导数为0，即可求出$p$为70%，与我们一开始认为的70%是一致的，其中蕴含的数学思想在里面。

1.2 例2

假设我们要统计全国人民的年均收入，首先假设这个收入服从服从正态分布，但是该分布的均值与方差未知。我们没有人力与物力去统计全国每个人的收入。我们国家有10几亿人口呢？那么岂不是没有办法了？
不不不，有了极大似然估计之后，我们可以采用嘛！我们比如选取一个城市，或者一个乡镇的人口收入，作为我们的观察样本结果。然后通过最大似然估计来获取上述假设中的正态分布的参数。
有了参数的结果后，我们就可以知道该正态分布的期望和方差了。也就是我们通过了一个小样本的采样，反过来知道了全国人民年收入的一系列重要的数学指标量！

二、似然函数

似然性（likelihood）与概率（possibility）同样可以表示事件发生的可能性大小，但是二者有着很大的区别：

概率$p(x|\theta)$是在已知参数$\theta$ 的情况下，发生观测结果 $x$ 可能性大小；
似然性$L(\theta|x)$ 则是从观测结果$x$出发，分布函数的参数为 $\theta$的可能性大小。

可能听着不是那么好理解。似然函数是一种关于统计模型中的参数的函数，表示模型参数中的似然性，用$L$表示，给定输出$x$时，关于参数$\theta$的似然函数 $$L(\theta|x)$$ 在数值上等于给定参数$\theta$后变量$x$的概率

$$L(θ|x)=P(X=x|θ)=p(x|\theta)$$

其中$x$已知，$\theta$未知。若对于两个参数$\theta_1,\theta_2$，有

$$L(\theta_1|x)=p(x|\theta_1)>p(x|\theta_2)=L(\theta_2|x)$$

那么意味着 $\theta=\theta_1$时，随机变量 $X$生成$x$的概率大于当参数 $\theta=\theta_2$ 时。这也正是似然的意义所在，若观测数据为 $x$，那么 $\theta_1$是比$\theta_2$更有可能为分布函数的参数。在不同的时候，$p(x|\theta)$可以表示概率也可以用于计算似然。

在统计学习中，我们有$N$个样本$x_{1}, x_{2}, x_{3},...,x_{N}$，假设他们之间是相互独立的，那么似然函数

$$L(θ)=P(X_1=x_1,X_2=x_2,...,X_N=x_N)=\prod_{i = 1}^{N}p(X_i=x_i)=\prod_{i = 1}^{N}p(x_i,θ)$$

极大似然函数的目的就是求解一个$\theta$使得$L(\theta)$最大。

三、正态分布的最大似然估计（MLE）

这里用一维高斯分布来判断$\mu$和$\sigma^2$的无偏性及有偏性，一维正态高斯分布函数

$$f(x|\theta)=f(x|\mu,\sigma)=\frac{1}{\sqrt{2\pi}\sigma}\ e^{-\frac{(x-\mu)^2}{2\sigma ^2}}$$

其中最大似然估计MLE：$\hat\theta = \underset {\theta}{{arg\,max}}~lnL(X|\mu, \sigma)$

(1)已知$\sigma^{2}$，未知$\mu$，求$\mu$的最大似然估计量$\hat\mu$

似然函数: $L(X \mid \mu)=\prod_{i=1}^N p\left(x_i \mid \mu\right)=\prod_{i=1}^N \frac{1}{\sqrt{2 \pi} \sigma} e^{-\frac{\left(x_i-\mu\right)^2}{2 \sigma^2}}$
两边分别取对数: $\ln L(X \mid \mu)=\ln \prod_{i=1}^N p\left(x_i \mid \mu\right)=-\frac{N}{2} \ln (2 \pi)-N \ln \sigma-\frac{1}{2 \sigma^2} \sum_{i=1}^N\left(x_i-\mu\right)^2$
两边对 $\mu$ 求导

$$\begin{gathered} \frac{d \ln L(X \mid \mu)}{d \mu}=\sum_{i=1}^N \frac{1}{\sigma^2}\left(x_i-\mu\right)=0 \\ \sum_{i=1}^N\left(x_i-\mu\right)=0 \rightarrow \sum_{i=1}^N x_i-N \mu=0 \\ \hat{\mu}=\frac{1}{N} \sum_{i=1}^N x_i=\bar{X} \end{gathered}$$

可以发现，当$\sigma^2$已知时，$\mu$的最大似然估计量只受样本的影响， $\hat{\mu}$ 是 $\mu$ 的无偏估计

$$E[\hat{\mu}]=E\left[\frac{1}{N} \sum_{i=1}^N x_i\right]=\frac{1}{N} \sum_{i=1}^N E\left[x_i\right]=\frac{1}{N} N \mu=\mu$$

(2)已知$\mu$，未知$\sigma^{2}$，求$\sigma^{2}$的最大似然估计量$\hat\sigma^{2}$

似然函数:
$L\left(X \mid \sigma^2\right)=\prod_{i=1}^N p\left(x_i \mid \sigma^2\right)=\prod_{i=1}^N \frac{1}{\sqrt{2 \pi} \sigma} e^{-\frac{\left(x_i-\mu\right)^2}{2 \sigma^2}}$
两边分别取对数:
$\ln L\left(X \mid \sigma^2\right)=\ln \prod_{i=1}^N p\left(x_i \mid \sigma^2\right)=-\frac{N}{2} \ln (2 \pi)-N \ln \sigma-\frac{1}{2 \sigma^2} \sum_{i=1}^N\left(x_i-\mu\right)^2$ 两边对 $\sigma^2$ 求导

$$\begin{gathered} \frac{d \ln L\left(X \mid \sigma^2\right)}{d \sigma^2}=\sum_{i=1}^N \frac{1}{\sigma^2}\left(x_i-\mu\right)=0 \\ -\frac{N}{2 \sigma^2}+\frac{1}{2 \sigma^4} \sum_{i=1}^N\left(x_i-\mu\right)^2=0 \\ \hat{\sigma}^2=\frac{1}{N} \sum_{i=1}^N\left(x_i-\mu\right)^2 \end{gathered}$$

可以发现，当$\mu$已知时，$\hat{\sigma}^2$ 的最大似然估计量 受到样本以及样本均值的影响， $\hat{\sigma}^2$ 是 $\sigma^2$ 的无偏估计

$$\begin{aligned} &E\left[\hat{\sigma}^2\right]=E\left[\frac{1}{N} \sum_{i=1}^N\left(x_i-\mu\right)^2\right]=E\left[\frac{1}{N} \sum_{i=1}^N x_i^2-\frac{1}{N} \sum_{i=1}^N 2 x_i \mu+\frac{1}{N} \sum_{i=1}^N \mu^2\right]=E\left[\frac{1}{N} \sum_N^{i=1} x_i^2-2 \mu^2+\mu^2\right] \\ &=E\left[\frac{1}{N} \sum_{i=1}^N x_i^2-\mu^2\right]=\frac{1}{N} \sum_{i=1}^N\left(E\left(x_i^2\right)-E^2\left(x_i\right)\right)=D\left(x_i\right)=\sigma^2 \end{aligned}$$

(3)$\mu$和$\sigma^{2}$均未知，求$\mu$、$\sigma^{2}$的最大似然估计量$\hat\mu$和$\hat\sigma^{2}$

似然函数: $L\left(X \mid \mu, \sigma^2\right)=\prod_{i=1}^N p\left(x_i \mid \mu, \sigma^2\right)=\prod_{i=1}^N \frac{1}{\sqrt{2 \pi} \sigma} e^{-\frac{\left(x_i-\mu\right)^2}{2 \sigma^2}}$
两边分别取对数: $\ln L\left(X \mid \mu, \sigma^2\right)=\ln \prod_{i=1}^N p\left(x_i \mid \mu, \sigma^2\right)=-\frac{N}{2} \ln (2 \pi)-N \ln \sigma-\frac{1}{2 \sigma^2} \sum_{i=1}^N\left(x_i-\mu\right)^2$

• 两边对 $\mu$ 求导

$$\begin{gathered} \frac{d \ln L(X \mid \mu)}{d \mu}=\sum_{i=1}^N \frac{1}{\sigma^2}\left(x_i-\mu\right)=0 \\ \sum_{i=1}^N\left(x_i-\mu\right)=0 \rightarrow \sum_{i=1}^N x_i-N \mu=0 \\ \hat{\mu}=\frac{1}{N} \sum_{i=1}^N x_i=\bar{X} \end{gathered}$$

• 两边对 $\sigma^2$ 求导

$$\begin{gathered} \frac{d \ln L\left(X \mid \sigma^2\right)}{d \sigma^2}=\sum_{i=1}^N \frac{1}{\sigma^2}\left(x_i-\mu\right)=0 \\ -\frac{N}{2 \sigma^2}+\frac{1}{2 \sigma^4} \sum_{i=1}^N\left(x_i-\mu\right)^2=0 \\ \hat{\sigma}^2=\frac{1}{N} \sum_{i=1}^N\left(x_i-\hat{\mu}\right)^2=\frac{1}{N} \sum_{i=1}^N\left(x_i-\bar{X}\right)^2 \end{gathered}$$

可以发现，当 $\mu$ 的最大似然估计量 $\hat{\mu}$ 只受样本的影响（因为在计算时 $\sigma^2$ 被消去了）， $\hat{\mu}$ 是 $\mu$ 的无偏估计 $E[\hat{\mu}]=E[\bar{X}]=E\left[\frac{1}{N} \sum_{i=1}^N x_i\right]=\frac{1}{N} \sum_{i=1}^N E\left[x_i\right]=\frac{1}{N} N \mu=\mu$

但是在计算$\sigma^{2}$的最大似然估计量$\hat \sigma^{2}$不仅受到样本的影响，还受到$\mu$的影响，其中$\mu$未知，只能用计算出的$\hat \mu$来替代，通过下面计算可以发现$\hat \sigma^{2}$是$\sigma^{2}$的有偏估计

$$\begin{aligned} E\left[\hat{\sigma}^2\right] & =E\left[\frac{1}{N} \sum_{i=1}^N\left(x_i-\bar{X}\right)^2\right]=E\left[\frac{1}{N} \sum_{i=1}^N x_i^2-\frac{1}{N} \sum_{i=1}^N 2 x_i \bar{X}+\frac{1}{N} \sum_{i=1}^N \bar{X}^2\right] \\ &=E\left[\frac{1}{N} \sum_N^{i=1} x_i^2-2 \bar{X}^2+\bar{X}^2\right]=E\left\{\left(\frac{1}{N} \sum_{i=1}^N x_i^2-\bar{X}^2\right)-\left(\bar{X}^2-\bar{X}^2\right)\right\} \\ &=E\left[\left(\frac{1}{N} \sum_{i=1}^N x_i^2-\bar{X}^2\right)\right]-E\left(\bar{X}^2-\bar{X}^2\right) \\ &=\frac{1}{N} \sum_{i=1}^N\left[E\left(x_i^2\right)-E^2\left(x_i\right)\right]-\left[E\left(\bar{X}^2\right)-E^2(\bar{X})\right] \\ &=D\left(x_i\right)-D(\bar{X})=\sigma^2-\frac{\sigma^2}{N}=\frac{N-1}{N} \sigma^2 \end{aligned}$$

所以在计算样本的方差 $S^2$ 时，需要在在前面乘上一个系数，即 $S^2=\frac{N}{N-1} E\left[\hat{\sigma}^2\right]$

四、二项分布的最大似然估计（MLE）

4.1 似然函数的构造

二项分布（Binomial Distribution）的概率质量函数（PMF）定义如下：

$$P(X = k) = \binom{n}{k} p^k (1 - p)^{n - k}, \quad k = 0, 1, 2, \dots, n$$

其中：

• $n$ 是试验次数（已知常数）；
• $p$ 是单次试验成功的概率（待估参数）；
• $k$ 是成功的次数；
• $\binom{n}{k}$ 是二项系数，表示从 $n$ 次试验中选取 $k$ 次成功的方法数。

假设我们有 $m$ 组独立观测数据 $(X_1, X_2, \dots, X_m)$，每个 $X_i$ 都服从相同的二项分布 $\text{Bin}(n, p)$。则联合似然函数（Likelihood Function）为：

$$L(p) = \prod_{i=1}^{m} P(X_i = k_i) = \prod_{i=1}^{m} \binom{n}{k_i} p^{k_i} (1 - p)^{n - k_i}$$

由于二项系数 $\binom{n}{k_i}$ 仅依赖于已知的 $n$ 和 $k_i$，它在参数 $p$ 取不同值时保持不变，因此在最大化似然函数时可以忽略它，仅考虑：

$$L(p) \propto \prod_{i=1}^{m} p^{k_i} (1 - p)^{n - k_i}$$

为了简化计算，我们通常对似然函数取对数，得到对数似然函数（Log-Likelihood Function）：

$$\ell(p) = \sum_{i=1}^{m} \left( k_i \log p + (n - k_i) \log (1 - p) \right)$$

4.2 计算导数并求解最大值

为了找到最大似然估计 $\hat{p}$，我们需要对 $\ell(p)$ 求导，并令其等于零：

$$\frac{d}{dp} \ell(p) = \sum_{i=1}^{m} \left( \frac{k_i}{p} - \frac{n - k_i}{1 - p} \right) = 0$$

整理得：

$$\sum_{i=1}^{m} \frac{k_i}{p} = \sum_{i=1}^{m} \frac{n - k_i}{1 - p}$$

将求和符号展开：

$$\frac{\sum_{i=1}^{m} k_i}{p} = \frac{m n - \sum_{i=1}^{m} k_i}{1 - p}$$

令 $S = \sum_{i=1}^{m} k_i$ 表示所有样本中成功次数的总和，则方程变为：

$$\frac{S}{p} = \frac{m n - S}{1 - p}$$

交叉相乘：

$$S (1 - p) = (m n - S) p$$

展开并整理：

$$S - S p = m n p - S p$$

$$S = m n p$$

$$\hat{p} = \frac{S}{m n}$$

4.3 二阶导数验证极大值

为了验证 $\hat{p}$ 确实是极大值，我们计算二阶导数：

$$\frac{d^2}{dp^2} \ell(p) = \sum_{i=1}^{m} \left( -\frac{k_i}{p^2} - \frac{n - k_i}{(1 - p)^2} \right)$$

由于 $p$ 在 $(0,1)$ 之间，上述二阶导数恒为负，因此 $\ell(p)$ 在 $p = \hat{p}$ 处为极大值，即最大似然估计值。

4.4 结论与解释

二项分布的最大似然估计（MLE）为：

$$\hat{p} = \frac{\sum_{i=1}^{m} X_i}{m n}$$

即，MLE 估计值等于所有观测数据中成功次数的总和 $S$ 除以所有试验的总数 $m n$。这表明，二项分布的最大似然估计值就是样本中成功的相对频率。最大似然估计的直觉是：我们希望找到一个 $p$ 使得观察到的数据最有可能发生。而观察到的样本成功率 $S / (m n)$ 就是对 $p$ 的最佳估计，因为它直接反映了数据中的成功比例。

总结

如果总体$X$为离散型
假设分布率为$P=p(x;\theta)$，$x$是发生的样本，$\theta$是待估计的参数，$p(x;\theta)$表示估计参数为$\theta$时，发生$x$的概率。那么当我们的样本值为：$x_{1},x_2,...,x_{n}$时，

$$L(\theta )=L({ x }_{ 1 },{ x }_{ 2 },...,{ x }_{ n };\theta )=\prod _{ i=1 }^{ n }{ p({ x }_{ i };\theta ) }$$

其中$L(\theta)$成为样本的似然函数。

假设

$$L({ x }_{ 1 },{ x }_{ 2 },...,{ x }_{ n };\hat {\theta } )=\underset { \theta \in \Theta }{ max } L({ x }_{ 1 },{ x }_{ 2 },...,{ x }_{ n };\theta )$$

有$\hat{\theta}$使得$L(\theta)$的取值最大，那么$\hat{\theta}$就叫做参数$\theta$的极大似然估计值。

如果总体$X$为连续型
和上面类似，只是概率密度为$f(x;\theta)$，替代$p$。

解法
1）构造似然函数$L(\theta)$
2）取对数：$lnL(\theta)$
3） 求导，计算极值
4）解方程，得到$\theta$
极大似然估计就是在只有概率的情况下，忽略低概率事件直接将高概率事件认为是真实事件的思想。

参考文献

1. 搞懂极大似然估计
2. 最大似然估计
3. 参数估计(二).最大似然估计