最大似然函数

最大似然估计

概率

定义

某个事件发生的可能性，通常知道分布规律以及具体参数的情况下，就可以计算出某个事件发生的概率

似然

定义

给定已知数据来拟合模型，或者说给定某一结果，求某一参数值的可能性

似然函数与概率密度函数

设总体分布 \(f(X;\theta)\)，\(x1, ...,x_n\) 是从总体分布中抽出的样本，那么样本 \((x_1, ...,x_n)\) 的联合分布：

\(L(x_1, x_2, ...x_n;\theta) = f(x_1;\theta)f(x_2;\theta)···f(x_n;\theta)\)

当固定 \(\theta\) 时，看作是 \(x_1, x_2, ..., x_n\) 的函数时， \(L\) 是一个概率密度函数

当固定 \(x1,...,x_n\) 时， 把 \(L\) 看作是 \(\theta\) 的函数，由于 \(\theta\) 有一定的值， 但是未知，并非随机变量，不能叫做概率， 而叫似然。

\(L(\theta) = L（x_1, x_2, ...., x_n; \theta）= \prod_{i - 1}^{n}f(x_i;\theta)\) 则为已知样本 \(x_1, x_2,...,x_n\)的似然函数

似然函数所做的是计算事件发生可能性的大小的函数，且参数未知，当 \(\theta\) 取不同的值时表现的意义是不一样的，假设 \(L(X_,...,x_n;\theta_1) > L(X_,...,x_n;\theta_2)\) 表示当 \(\theta=\theta_1\) 时，随机变量 \(X\) 取 \(x_1, x_2, ...,x_n\) 这组样本的概率更大

最大似然估计

求已知数据及其分布模型的模型参数

例子

抛硬币，每组抛 \(10\) 次，抛 6 组， 假设 抛硬币服从二项式分布

\(x1, ..., x_6 = \{4, 5,5, 2, 7, 4 \}\)

记每次实验的似然函数 \(p(x_i = k)\) 为 \(f(x_i|\theta)\)， 指在参数 \(\theta\) 的前提下，发生 \(x_i\) 事件的概率，相当于条件概率。

则总的似然函数（联合概率） 为：

\[L(\theta) = \prod_{i = 1}^{6}f(x_i|\theta) \quad (iid) \]

如何求出 \(\theta\) ， 类似极大值的思想，对似然函数进行求导，如果多个未知参数，则进行求偏导.

Tip:

由于连乘求导比较不方便，根据函数 \(g(x)\) 和 \(ln(g(x))\) 的单调时保持一致的，因为我们可以选择把似然函数 \(L(x)\) 转化为 \(ln(L(x))\), 这样连乘变为连加：

\[ln(L(\theta)) = ln(\prod_{i - 1}^{n}f(x_i;\theta)) = ln(f(x1; \theta))·ln(f(x2; \theta)) · ... · ln(f(x_n; \theta)) = \sum_{i = 1}^{n} ln(f(x_i;\theta)) \]