极大似然估计的思想及计算[例题]

0 前言

• 本文主要介绍极大似然估计的意义，并举出例题帮助读者理解。

1 思想

• 极大似然估计（Maximum Likelihood Estimation, MLE）是一种在统计学中估计模型参数的方法。它的基本思想是：找到一组参数值，使得在这组参数下，观测到的数据出现的概率（即似然函数）最大。

• 假如有一个黑盒子，里面放有若干红球和白球，现从盒子中随机放回抽取10次，最后统计抽取结果，有红球被抽到7次，白球被抽到3次，问抽中红球和白球的概率分别为多少？

• 你可能认为抽中红球的概率为：70%，抽中白球的概率为30%？你能否从数学角度解释？

• 由此引出极大似然估计。

2 公式

• 其中n表示观测值的个数。
• L(θ)表示似然函数，θ是似然函数需要估计的值。
• p(xi|θ)表示给定参数θ下观测值为xi的概率。
• 符号"∏"表示连乘运算。

3 极大似然估计的基本步骤

1. 定义似然函数：根据观测数据和模型，定义似然函数，即观测数据在给定参数下的联合概率密度函数（或联合概率质量函数）。

2. 求极大值：通过最大化似然函数（或其对数形式，因为对数函数是单调增函数，不会改变极值点的位置，但可能使计算更方便）来求解参数。

4 例题

笔者仍考虑抽球问题，详细请见1.节。
由于黑盒中只有红球和白球，故有：

类别	概率(θ≠0且θ≠1）
红球	θ
白球	1-θ

抽取10次，每次抽取是相互独立的，红球出现7次，白球出现3次。

所以有抽到红球概率70%,抽到白球概率30%。