1. EM算法-数学基础

1. EM算法-数学基础

2. EM算法-原理详解

3. EM算法-高斯混合模型GMM

4. EM算法-高斯混合模型GMM详细代码实现

5. EM算法-高斯混合模型GMM+Lasso

1. 凸函数

通常在实际中,最小化的函数有几个极值,所以最优化算法得出的极值不确实是否为全局的极值,对于一些特殊的函数,凸函数与凹函数,任何局部极值也是全局极致,因此如果目标函数是凸的或凹的,那么优化算法就能保证是全局的。

定义1:集合\(R_c\subset E^n\)是凸集,如果对每对点\(\textbf{x}_1,\textbf{x}_2\subset R_c\),每个实数\(\alpha,0<\alpha<1\),点\(\textbf{x}\in R_c\)

\[\textbf{x}=\alpha\textbf{x}_1+(1-\alpha)\textbf{x}_2 \]

image

定义2:我们称定义在凸集\(R_c\)上的函数\(f(x)\)为凸的,如果对每对\(\textbf{x}_1,\textbf{x}_2 \in R_c\)与每个实数\(\alpha ,0<\alpha<1\),则满足不等式

\[f[\alpha\textbf{x}_1+(1-\alpha)\textbf{x}_2]\leq\alpha f(\textbf{x}_1)+(1-\alpha)f(\textbf{x}_2) \]

如果\(\textbf{x}_1\neq\textbf{x}_2\),则f(x)是严格凸的。

\[f[\alpha\textbf{x}_1+(1-\alpha)\textbf{x}_2]<\alpha f(\textbf{x}_1)+(1-\alpha)f(\textbf{x}_2) \]

image

2. Jensen不等式

定义1:若\(f(x)\)为区间\(X\)上的凸函数,则\(\forall n \in \mathbb N, n \ge 1,\), 若\(\forall i \in \mathbb N, 1 \le i \le n, x_i \in X, \lambda_i \in \mathbb R,\),且\(\sum^n_{i=1}\lambda_i=1\), 则:

\[f(\sum_{i=1}^{n} \lambda_i x_i) \le \sum_{i=1}^{n} \lambda_i f(x_i) \]

推论1:若\(f(x)\)为区间\(R\)上的凸函数,\(g(x): R \rightarrow R\)为一任意函数,\(X\)为一取值范围有限的离散变量,\(E [f \left ( g(X) \right ) ]\)\(E[g(X)]\)都存在,则:

\[E [f \left ( g(X) \right ) ] \ge f \left (E[g(X)] \right ) \]

3. 极大似然估计

极大似然估计方法(Maximum Likelihood Estimate,MLE)也称为最大概似估计或最大似然估计。

一般说来,事件\(A\)发生的概率与某一未知参数\(\theta\)有关,\(\theta\)的取值不同,则事件\(A\)发生的概率\(P(A|\theta)\)也不同,当我们在一次试验中事件\(A\)发生了,则认为此时的\(\theta\)值应是\(t\)的一切可能取值中使\(P(A|\theta)\)达到最大的那一个,极大似然估计法就是要选取这样的\(t\)值作为参数t的估计值,使所选取的样本在被选的总体中出现的可能性为最大。

直观的例子:
设甲箱中有99个白球,1个黑球;乙箱中有1个白球.99个黑球。现随机取出一箱,再从抽取的一箱中随机取出一球,结果是黑球,这一黑球从乙箱抽取的概率比从甲箱抽取的概率大得多,这时我们自然更多地相信这个黑球是取自乙箱的。

posted @ 2018-12-15 14:30  hyc339408769  阅读(4077)  评论(0编辑  收藏  举报