极大似然估计

利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值，是一种给定观察数据来评估模型参数的方法。

设 $X_{1},X_{2},X_{3},...X_{n}$ 是来自总体 $X$ 的简单随机样本，$x_{1},x_{2},x_{3},...x_{n}$ 为样本的观察值(样本值)，$\theta_{1},\theta_{2},\theta_{3},...\theta_{k}$ 为待估参数。

现在我们希望得到一个只关于参数 $\theta_{i}$ 的一个函数，这个函数能表征该样本结果发生的概率，从而我们通过研究这个函数，得到概率最大时，

参数 $\theta_{i}$ 的取值，这个取值就作为模型参数的估值。

似然估计的关键在于：出现某个值的概率不是有抽样结果决定的，而是由总体决定的，比如抽取结果为 $5,5,1,1,1$，那能认为 $5$ 出现的概率是 $\frac{2}{5}$ 吗？

如果是用样本估计总体，那么可以这么认为，但似然估计要估计出总体的未知参数，所以出现 $5$ 的概率一开始就由总体决定了，是一个带参数的概率，

只是我们用这组样本来拟合指定的分布，同时随机变量又得满足概率规律，比如样本出现的概率和为 $1$。

如何得到表征样本结果发生概率的函数呢？

 

1. 总体 $X$ 为离散型

   $X$ 的概率分布为：

$$P\left \{ X = x_{k} \right \} = p_{k}(\theta),k = 1,2,3,...$$

   由于 $X_{1},X_{2},X_{3},...X_{n}$ 和总体具有相同的分布，所以

$$P\left \{ X_{i} = x_{i} \right \} = P\left \{ X = x_{i} \right \}, i = 1,2,3,...,n$$

   所以 $X_{1},X_{2},X_{3},...X_{n}$ 取到一组观测值 $x_{1},x_{2},x_{3},...x_{n}$ 的概率为

$$P\left \{ X_{1} = x_{1}, X_{2} = x_{2},...,X_{n} = x_{n}\right \} = \prod_{i=1}^{n}P\left \{ X_{i} = x_{i} \right \}$$

   这一概率随 $\theta$ 的取值而变化，它是 $\theta$ 的函数，记为 $L(\theta)$，该函数称为样本的似然函数，即

$$L(\theta) = \prod_{i=1}^{n}P\left \{ X_{i} = x_{i} \right \}$$

 

2. 总体 $X$ 为连续型

   设 $X$ 的概率密度为 $f(x;\theta)$，连续型随机变量没有点概率，采用的是极限逼近的手段，这里不再赘述，可得它取某一个样本点的概率近似为

$$P\left \{ X = x_{i} \right \} = f(x_{i};\theta)dx_{i}, dx_{i} > 0$$

   所以 $X_{1},X_{2},X_{3},...X_{n}$ 取到一组观测值 $x_{1},x_{2},x_{3},...x_{n}$ 的概率近似为

$$P\left \{ X_{1} = x_{1}, X_{2} = x_{2},...,X_{n} = x_{n}\right \} = \prod_{i=1}^{n}P\left \{ X_{i} = x_{i} \right \} = \prod_{i=1}^{n}f(x_{i};\theta)dx_{i},dx_{i} > 0$$

   由于 $dx_{i} > 0$，且非 $\theta$ 函数，所以似然函数为

$$L(\theta) = \prod_{i=1}^{n}f(x_{i};\theta)$$

 

求极大似然函数估计值的一般步骤：

    1）根据总体的分布，写出似然函数：$L(x_{1},x_{2},x_{3},...x_{n};\theta_{1},\theta_{2},\theta_{3},...\theta_{k})$。函数 $L$ 是关于 $\theta_{i}$ 的多元函数。

    2）如有必要，则对似然函数取对数，并整理。

    3）多元函数求极值，当函数值最大时，即样本发生概率最大时，所对应的 $\theta_{i}$ 就是解。