2.2 Multinomial variables多项变量的分布_PRML模式识别与机器学习读书笔记
2.2 Multinomial variables多项变量的分布
考虑多项变量即K个互斥变量(可能取值),使用1-of-K方式表示为K维向量x,其中某个向量xk=1,且其他向量=0。例如某个变量发生,对应向量为x3,则x3=1 :
xk=1发生的概率为μk,那么x的分布为:
这里,且
,该分布可以看作是Bernoulli分布多输出的普遍形式,很明显上式是归一化的normalized:
考虑N个独立观测值 {x1,…,xN} 数据集D, 对应的似然函数:
其中:
代表xk=1在D中发生次数。这是都是该分布的完全统计sufficient statistics。
2.29的限制条件是,那么可以使用拉格朗日乘子法对lnp(D|μ),转换为最大化下式:
基于μk求导等于0,得到:
将该式代入,有 λ=-N,由此我们得到μ的最大似然解:
Multinomial distribution多项分布
接下来我们考虑m1,m2,…,mK的联合分布,从2.29式,我们可以得到:
这就是多项分布归一化系数:
变量mk 受限于:
2.21 The Dirichlet distribution
引入2.34式的先验的相似分布,共轭先验的形式应该是:
这里,,对于3维来说,由于受限于总和,自由变量只有二维,所以k维变量就被限制在k-1维空间。如下图,取值限于一个平面,可以将这个平面投影到二维平面:
α1,…, αK 是分布的参数,α=(α1,…, αK)T,2.37式的归一化形式:
其中:
该分布就是Dirichlet distribution,该分布是连续多变量分布,是多变量普遍化的Beta分布。狄利克雷分布奠定了狄利克雷过程的基础,被广泛应用于自然语言处理特别是主题模型(topic model)的研究。下图是一个3变量分布:
将先验2.38与相似函数2.34相乘,有:
看得出,后验同样是一个Dirichlet分布,归一化系数,得到后验: