极大似然估计理解与应用

1. 什么是极大似然估计

  在日常生活中，我们很容易无意中就使用到极大似然估计的思想，只是我们并不知道极大似然估计在数学中的如何确定以及推导的。下面我们使用两个例子让大家大概了解一下什么是极大似然估计：

（1）猎人师傅和徒弟一同去打猎，遇到一只兔子，师傅和徒弟同时放枪，兔子被击中一枪，那么是师傅打中的，还是徒弟打中的？
（2）一个袋子中总共有黑白两种颜色100个球，其中一种颜色90个，随机取出一个球，发现是黑球。那么是黑色球90个？还是白色球90个？

  对于第（1）个问题，由于师傅的技术一般比徒弟高，因此我们会猜测兔子是师傅打中的。对于第（2）个问题，对于颜色有90个的球，我们抽中它的概率更大，因此当抽中为黑色球时，我们便会认为90个的是黑色球。
  对于以上两个例子可以看出，我们在进行猜测时，往往认为：概率最大的事件，最可能发生，因此在一次试验中就出现的事件应当具有较大的概率。

---

2. 极大似然原理及数学表示

  极大似然原理是指：若一次试验有 $ n $ 个可能结果 $ A_1, A_2,...,A_n $ ，现在我们做一次试验，试验的结果为 $ A_i $ ，那么我们就可以认为事件 $ A_i $ 在这个 $ n $ 个可能结果中出现的概率最大。
  极大似然估计是指：在一次抽样中，样本出现的概率是关于参数 $ \theta $ 的函数，若在一些试验中，得到观测值 $ x_1,x_2,...,x_n $ ，则我们可以选取 $ \hat{\theta}(x_1,x_2,..,x_n) $ 作为 $ \theta $ 的估计值，使得当 $ \theta = \hat{\theta}(x_1,x_2,..,x_n) $ 时，样本出现的概率最大。而极大似然估计就是要求解出参数 $ \theta $ 的估计值。可采用极大似然估计法。

---

3. 极大似然估计法(Maximum Likelihood Estimation,MLE)

  （1）若总体 $ X $ 为离散型
    假设分布律为 $ P \lbrace X=x \rbrace = p(x;\theta) $ ，$ \theta $ 为待估计参数，$ p(x;\theta) $ 表示估计参数为 $ \theta $ 时，发生 $ x $ 的概率。
    那么当样本值为： $ x_1,x_2,...,x_n $ 时， $$ L(\theta) = L(x_1,x_2,...,x_n;\theta) = \prod_{i=1}^n p(x_i;\theta) $$
    其中 $ L(\theta) $ 称为样本的似然函数。
    若满足： $$ L(x_1,x_2,...,x_n;\hat{\theta}) = max_{\theta}L(x_1,x_2,...,x_n;\theta) $$
    也就是说，当参数 $ \theta = \hat{\theta} $ 时，似然函数可以取最大值，那么 $ \hat{\theta} $ 就叫做参数 $ \theta $ 的极大似然估计值。
  （2）若总体 $ X $ 为连续型
    假设概率密度为 $ f (x;\theta) $ ，$ \theta $ 为待估计参数。
    那么当样本值为： $ x_1,x_2,...,x_n $ 时， $$ L(\theta) = L(x_1,x_2,...,x_n;\theta) = \prod_{i=1}^n f(x_i;\theta) $$
    其中 $ L(\theta) $ 称为样本的似然函数。
    若满足： $$ L(x_1,x_2,...,x_n;\hat{\theta}) = max_{\theta}L(x_1,x_2,...,x_n;\theta) $$
    也就是说，当参数 $ \theta = \hat{\theta} $ 时，似然函数可以取最大值，那么 $ \hat{\theta} $ 就叫做参数 $ \theta $ 的极大似然估计值。

---

4. 极大似然估计法求估计值的步骤：

  （1）构造似然函数 $ L(\theta) $ ：
     $ L(\theta) =\prod_{i=1}^n p(x_i;\theta) (离散型) ; L(\theta)=\prod_{i=1}^n f(x_i;\theta) (连续型) $
  （2）取对数： $ \log L(\theta) $ (以 $ e $ 为底)；
  （3）令 $ \frac{\delta \log L(\theta)}{\delta \theta} = 0 $ ；
  （4）解似然方程得到 $ \theta $ 的极大似然估计值 $ \hat{\theta} $ 。

---

5. 极大似然估计法应用

  （1）假设一个袋子装有白球与红球，比例未知，现在抽取10次（每次抽完都放回，保证事件独立性），假设抽到了7次白球和3次红球，在此数据样本条件下，可以采用最大似然估计法求解袋子中白球的比例。
    求解过程：
    该试验属于二项分布，我们定义 $ M $ 为模型，抽到白球的概率为 $ \theta $ ，而抽到红球的概率为 $ 1- \theta $ ，因此10次抽取抽到白球7次红球3次的概率(似然函数)为：

\[L(\theta) = \begin{pmatrix} 10 \\ 7 \\ \end{pmatrix} P(x_1,x_2,...,x_{10}|M) = \begin{pmatrix} 10 \\ 7 \\ \end{pmatrix} P(x_1|M) \times P(x_2|M) \times ... \times P(x_{10}|M) = \begin{pmatrix} 10 \\ 7 \\ \end{pmatrix} \theta^7(1-\theta)^3 \]

    其对数似然函数为:

\[\log L(\theta) = \log [ \begin{pmatrix} 10 \\ 7 \\ \end{pmatrix} \theta^7(1-\theta)^3 ] \]

    求

\[\frac{\delta \log L(\theta)}{\delta \theta} = 0 \]

    即

\[7\theta^6(1-\theta)^3 - 3\theta^7(1-\theta)^2 = 0 \implies \theta = 0.7 \]

    二项式系数为常数，在求导过程中会被抵消。
    故白球的比例为 $ 0.7 $ 。
  （2）设总体 $ X ~ N(\mu, \sigma^2) $ ，$ \mu, \sigma^2 $ 为未知参数，$ x_1,x_2,...,x_n $ 是来自 $ X $ 的一个样本值，求 $ \mu, \sigma^2 $ 的极大似然估计值。
    求解过程：
     X的概率密度为：

\[f(x;\mu,\sigma^2)=\frac{1}{\sqrt{2\pi}\sigma} e^{-\frac{(x-\mu)^2}{2\sigma^2}} \]

     似然函数为：

\[L(\mu,\sigma^2) = \prod_{i=1}^n \frac{1}{\sqrt{2\pi}\sigma} e^{-\frac{(x_i-\mu)^2}{2\sigma^2}} \]

     取对数为：

\[\log L(\mu,\sigma^2) = -\frac{n}{2} \log (2\pi) - \frac{n}{2} \log \sigma^2 - \frac{1}{2\sigma^2} \sum_{i=1}^n(x_i-\mu)^2 \]

     令

\[\begin{cases} \frac{\delta}{\delta \mu} \log L(\mu,\sigma^2) = 0 \\ \frac{\delta}{\delta \sigma^2} \log L(\mu,\sigma^2) = 0 \end{cases} \]

     即

\[\begin{cases} \frac{1}{\sigma^2}[\sum_{i=1}^n x_i - n \mu] = 0 \\ - \frac{n}{2 \sigma^2}+ \frac{1}{2(\sigma^2)^2} \sum_{i=1}^n (x_i-\mu)^2 = 0 \end{cases} \]

    求得参数估计值为：

\[\begin{cases} \hat{\mu} = \frac{1}{n} \sum_{i=1}^n x_i =\overline{x} \\ \hat{\sigma}^2 = \frac{1}{n}\sum_{i=1}^n(x_i-\overline{x})^2 \end{cases} \]

---

引用及参考：
[1] https://www.jianshu.com/p/f1d3906e4a3e
[2] https://blog.csdn.net/zengxiantao1994/article/details/72787849
[3] https://wenku.baidu.com/view/0d9af6aa172ded630b1cb69a.html
[4] https://www.cnblogs.com/xing901022/p/8418894.html

写在最后：本文参考以上资料进行整合与总结，属于原创，文章中可能出现理解不当的地方，若有所见解或异议可在下方评论，谢谢！
若需转载请注明：https://www.cnblogs.com/lliuye/p/9139032.html