最大似然估计基础介绍

一、两个简单的栗子

第一颗栗子

有两个外形完全相同且不透明的黑箱子，甲箱子里装有99个白球和1个黑球，乙箱子里装有1个白球和99个黑球。一次试验里随机选中一个箱子，然后从中取出一个球发现是黑球。请问，这个箱子最有可能是哪个箱子？

很显然，人们最直观的感觉是这个黑球最有可能是从甲箱子里取出来的，因为甲箱子里的黑球多呀。这个推断符合人们的日常经验，这里的最有可能就是“最大似然（maximum-likelihood）”的意思，而这个问题答案背后的原理就是“最大似然原理”。

第二颗栗子

我们来看下用于决策的经典公式之一贝叶斯公式：

p (w | x) = \frac{p (x | w) \cdot p (w)}{p (x)}

$p( w | x ) = \frac{p( x | w ) \cdot p( w ) }{ p( x ) }$

在机器学习当中，其中 $p(w)$ 称为先验概率， $p(x|w)$ 称为类条件概率， $p(w|x)$ 称为后验概率，后验概率表示的某事发生了那该事件属于某一类的概率，这个概率越大我们越有理由把该事件划分到这一类中。

以上的表述比较抽象，我们用一个相对实际的例子说明下。夏天到了，我们想调查一下附近一个广场上穿凉鞋遛弯的情况。已知这个广场上男女比例大约在2：1，然后男生穿凉鞋出门的概率大约在1/2，而女生穿凉鞋出门的概率大约在2/3，这就是先验概率。我们看见前方有一个人脚上光溜溜的似乎是一双凉鞋，那么这个人是男生的概率是多少？是女生的概率是多少？

记广场上出现男生的概率 $p(w_1)=2/3$ ，出现女生的概率 $p(w_1)=1/3$ 。记男生穿凉鞋的概率为 $p(x|w_1)=1/2$ ，女生穿穿凉鞋的概率为 $p(x|w_2)=2/3$ ，这就是条件概率。现在需要求解的概率实际上是后验概率 $p(w_1|x)$ 和 $p(w_2|x)$ 。

我们首先计算广场上有人穿凉鞋的概率：

p (x) = p (x | w_{1}) p (w_{1}) + p (x | w_{2}) p (w_{2}) = \frac{5}{9}

$p(x) =p(x|w_1)p(w_1) + p(x|w_2)p(w_2) = \frac{5}{9}$

根据贝叶斯公式可得:

p (w_{1} | x) = \frac{p (x | w_{1}) \cdot p (w_{1})}{p (x)} = \frac{3}{5} p (w_{2} | x) = \frac{p (x | w_{2}) \cdot p (w_{2})}{p (x)} = \frac{2}{5}

$p(w_1|x) = \frac{p(x|w_1) \cdot p(w_1)}{p(x)} = \frac{3}{5} \\ p(w_2|x) = \frac{p(x|w_2) \cdot p(w_2)}{p(x)} = \frac{2}{5}$

二、问题引出

以上的举例都比较简单，在实际问题并不都是这么幸运的，往往先验概率和条件概率都是未知的。根据仅有的样本数据进行分类时，一种可行的办法是我们需要先对先验概率和条件概率进行估计，然后再套用贝叶斯公式。像穿不穿凉鞋、是男是女这类离散有限随机变量的分布似乎还能通过统计来估计。如果是连续型随机变量，我们就要对它的概率密度进行估计。然而困难还不止于此，像卷积神经网络等机器学习算法中随机变量几乎都是多维的，也有可能出现样本数量有限的问题。

问题似乎有点棘手，但解决办法总会有的。既然估计随机变量的分布在某些情况下较难，我们不妨先假设随机变量服从某种分布，然后对分布参数进行估计，最后通过样本校验估计出的分布是否合适。在这种思路下，最大似然估计就是其中一种可行的方法。总结起来，最大似然估计的目的就是：利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值。

三、最大似然估计的原理

最大似然估计是建立在最大似然原理的基础上的一个统计方法，是概率论在统计学中的应用。最大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。通过若干次试验，观察其结果，利用试验结果得到某个参数值能够使样本出现的概率为最大，则称为最大似然估计。

对于随机变量，我们想要对它的分布进行估计。为此我们对X进行了n次观察获取了样本集，其中每个样本都是独立同分布的。我们假设X服从参数为 $\theta$ 的某种分布并给出似然函数的定义：

定义1 (似然函数，likelihood function) 联合概率密度函数 $f(D| \theta)$ 称为相对于样本集 $D = \{x_1, x_2, ..., x_n \}$ 的$ \theta $的似然函数，记为$ l( \theta)$：

l (θ) = f (D | θ) = \prod_{i = 1}^{n} f (x_{i} | θ)

$l( \theta) = f(D| \theta) = \prod_{i=1}^n{f(x_i | \theta)}$

如果 $\hat{\theta}$ 是使似然函数$ l( \theta) $最大的$ \theta $值，则$ \hat{ \theta} $是参数$ \theta $的最大似然估计值，它最终应该是样本集的某个函数，即$ \theta(D)$。

四、求解最大似然函数

最大似然估计的过程就是求解参数 $\theta$ 为何值时似然函数取得最大值的过程，这个过程用以下公式来表示：

\hat{θ} = a r g \underset{θ}{m a x} l (θ) = a r g \underset{θ}{m a x} \prod_{i = 1}^{n} f (x_{i} | θ)

$\hat{ \theta} = \mathop{\rm{arg}} \ \mathop{\rm{max}}\limits_{\theta} l(\theta) = \mathop{\rm{arg}} \ \mathop{\rm{max}}\limits_{\theta} \prod_{i=1}^n{f(x_i | \theta)}$

为了便于分析，在实际分析过程中往往构造一种似然函数的对数形式（对数似然函数）：

H (θ) = l n (l (θ))

$H(\theta) = ln(l(\theta))$

这样一来，求解过程可以转化为：

\hat{θ} = a r g \underset{θ}{m a x} H (θ) = a r g \underset{θ}{m a x} \sum_{i = 1}^{n} l n (f (x_{i} | θ))

$\hat{ \theta} = \mathop{\rm{arg}} \ \mathop{\rm{max}}\limits_{\theta} H(\theta) = \mathop{\rm{arg}} \ \mathop{\rm{max}}\limits_{\theta} \sum_{i=1}^n{ln(f(x_i | \theta))}$

以下分两种情况讨论：

第一种： 当似然函数只有一个参数时，我们可以求导对数似然函数。在对数似然函数满足连续、可微的正则条件下，最大似然估计量是下面微分方程的解：

\frac{d H (θ)}{d θ} = \frac{d l n l (θ)}{d θ} = 0

$\frac{\mathrm{d} H(\theta)}{\mathrm{d} \theta} = \frac{\mathrm{d} lnl(\theta)}{\mathrm{d} \theta} = 0$

第二种： 当似然函数有多个参数时，则 $\theta$ 可以表示为具有 $n$ 个分量的未知向量：

\vec{θ} = (θ_{1}, θ_{2}, . . ., θ_{n})^{⊤}

$\vec{\theta} = (\theta_1, \theta_2, ..., \theta_n)^\top$

记梯度算子：

\nabla_{θ} = (\frac{\partial}{\partial θ_{1}}, \frac{\partial}{\partial θ_{2}}, . . ., \frac{\partial}{\partial θ_{n}})^{⊤}

$\nabla_\theta = (\frac{\partial}{\partial \theta_1}, \frac{\partial}{\partial \theta_2}, ..., \frac{\partial}{\partial \theta_n})^\top$

若似然函数满足连续可导的条件，则最大似然估计量就是如下方程的解：

\nabla_{θ} H (θ) = \sum_{i = 1}^{n} \nabla_{θ} l n (f (x_{i} | θ))

$\nabla_\theta H(\theta) = \sum_{i=1}^n \nabla_\theta ln(f(x_i | \theta))$

记住，方程的解只是一个估计值，只有在样本数趋于无限多的时候，它才会接近于真实值。

五、实例演示

4.1 似然函数连续可导

设样本服从正太分布 $N(\mu,\sigma^2)$ ，则似然函数为：

L (μ, σ^{2}) = \prod_{i = 1}^{n} \frac{1}{\sqrt{2 π} σ} e^{- \frac{(x_{i} - μ)^{2}}{2 σ^{2}}} = (2 π σ^{2})^{- \frac{n}{2}} e^{- \frac{1}{2 σ^{2}} \sum_{i = 1}^{n} (x_{i} - μ)^{2}}

$L(\mu,\sigma^2) = \prod_{i=1}^n \frac{1}{\sqrt{2\pi} \sigma} e^{- \frac{(x_i - \mu)^2}{2 \sigma^2}} = (2 \pi \sigma^2)^{- \frac{n}{2}} e^{-\frac{1}{2\sigma^2} \sum_{i=1}^n (x_i-\mu)^2}$

其对数形式为：

H (μ, σ^{2}) = - \frac{n}{2} l n (2 π) - \frac{n}{2} l n (σ^{2}) - \frac{1}{2 σ^{2}} \sum_{i = 1}^{n} (x_{i} - μ)^{2}

$H(\mu,\sigma^2) = -\frac{n}{2}ln(2\pi)-\frac{n}{2}ln(\sigma^2)-\frac{1}{2\sigma^2} \sum_{i=1}^n (x_i-\mu)^2$

求其偏导数，得到方程组：

\frac{\partial H}{\partial μ} = \frac{1}{σ^{2}} \sum_{i = 1}^{n} (x_{i} - μ) = 0

$\frac{\partial H}{\partial \mu} = \frac{1}{\sigma^2}\sum_{i=1}^n(x_i-\mu) = 0$

\frac{\partial H}{\partial σ^{2}} = - \frac{n}{2 σ^{2}} + \frac{1}{2 σ^{4}} \sum_{i = 1}^{n} (x_{i} - μ)^{2} = 0

$\frac{\partial H}{\partial \sigma^2} = -\frac{n}{2\sigma^2}+\frac{1}{2\sigma^4}\sum_{i=1}^n(x_i-\mu)^2 = 0$

最终解得：

\hat{μ} = \bar{x} = \frac{1}{n} \sum_{i = 1}^{n} x_{i}

$\hat{\mu} = \bar{x} = \frac{1}{n}\sum_{i=1}^n x_i$

\hat{σ^{2}} = \frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x})

$\hat{\sigma^2} = \frac{1}{n}\sum_{i=1}^n(x_i-\bar{x})$

不难通过似然函数极其偏导数的单调性可知，此处的似然函数值就是最大值。

4.2 似然函数连续不可导

设样本服从均匀分布 $[a,b]$ ，则随机变量X的概率密度函数为：

f (x) = {\begin{cases} \frac{1}{b - a}, & a \leq x \leq b \\ 0, & o t h e r \end{cases}

$f(x) = \begin{cases} \frac{1}{b-a},&a \leq x \leq b \\ 0,&other \end{cases}$

对于样本 $D=\{x_1,x_2,...,x_n \}$ ，其似然函数为：

L (a, b) = {\begin{cases} \frac{1}{(b - a)^{n}}, & a \leq x \leq b \\ 0, & o t h e r \end{cases}

$L(a,b)= \begin{cases} \frac{1}{(b-a)^n}, &a \leq x \leq b \\ 0, &other \end{cases}$

很显然该似然函数不是连续可导函数，所以必须从似然函数的出发求似然函数的最大值。当 $x \in [a,b]$ 时显然似然函数大于0，所以最大值一定在 $x \in [a,b]$ 时达到。为了使似然函数函数达到最大值，那么就要使 $b-a$ 尽可能地小，但是又必须满足 $b \leq \mathrm{max} \{x_1,x_2,...,x_n\}$ 且 $a \geq \mathrm{min} \{x_1,x_2,...,x_n\}$ 。因此 $a$ 和 $b$ 的最大似然估计值为：