pattern recognition and machine learning 2.2 Multinomial Variables
(源自:http://isip.buaa.edu.cn/lichen/?p=376)
beta分布用于对二值随机变量建模,比如抛硬币实验。但如果随机变量可以取多个互斥的值呢?比如可能有种选择。对于某个可以取
种互斥状态的随机变量我们可以用一个
维向量
来表示,其中一个元素
取1,剩下的位置取0。例如,如果我们有一个变量可以有
种状态,一个观察值恰好对应
,那么
可以表示成
这种向量满足。如果我们记
的概率为参数
,那么
的分布就是:a
![p(mathbf{x} lvert boldsymbol{mu})=prod_{k=1}^K mu_{k}^{x_k}qquad(2.26)](http://isip.buaa.edu.cn/lichen/wp-content/cache/tex_f874a2dcdb5a3a83b99ebc74a96526cd.png)
其中的,而参数
满足
且
,因为它们代表概率。(2.26)的分布可以看成伯努利分布的一个多值泛化。可以看到这个分布式满足概率的归一化的:
同时,
![mathbb{E}[mathbf{x} lvert boldsymbol{mu}]=sum_mathbf{x}p(mathbf{x} lvert boldsymbol{mu})mathbf{x}=(mu_1,cdots,mu_K)^T=boldsymbol{mu}qquad(2.28)](http://isip.buaa.edu.cn/lichen/wp-content/cache/tex_28729f5f9ded08e8d47608d57d019b00.png)
考虑一个包含个独立观察值
的数据集
相应的似然函数:
![p(mathcal{D} lvert boldsymbol{mu})=prod_{n=1}^Nprod_{k=1}^{K}mu_k^{x_{nk}}=prod_{k=1}^Kmu_k^{(sum_n x_{nk})}=prod_{k=1}^{K}mu_k^{m_k}qquad(2.29)](http://isip.buaa.edu.cn/lichen/wp-content/cache/tex_7828c6fb3c3212910ca47f46b38df56b.png)
可以看出似然函数和数量有关:
![m_k=sum_{n} x_{nk} qquad(2.30)](http://isip.buaa.edu.cn/lichen/wp-content/cache/tex_d15128cd124c3dedf0d371ad7a4ee519.png)
实际上是表示观察数据中为1的观察值的个数。这在概率论中称为充分统计量。
为了找出boldsymbol{mu}的最大似然估计值,我们需要对求极大值,并满足所有mu_k之和为1这个约束。引入拉朗格日乘子lambda,并极大化:
![sum_{k=1}^K m_k ln mu_k + lambda(sum_{k=1}^K mu_k - 1)qquad(2.31)](http://isip.buaa.edu.cn/lichen/wp-content/cache/tex_c127febaf0a1ea39069d959432e94a69.png)
对(2.31)式以为自变量求导并令其导数为0,可得:
把(2.32)带入约束得到
,这样我们得到最大似然的解:
![mu_k^{ML}=frac{m_k}{N}qquad(2.33)](http://isip.buaa.edu.cn/lichen/wp-content/cache/tex_fd14badd7b3b44aab4f284b43fac9e74.png)
这个实际上式N个观察值中那些的实例所占百分比。
我们考虑给出和N个数据观察值时,
的联合概率分布。从(2.29)我们得到:
![Mult(m_1,cdots,m_K lvert boldsymbol{mu},N)=begin{pmatrix}N\m_1,cdots,m_K end{pmatrix} prod_{k=1}^Kmu_k^{m_k}qquad(2.34)](http://isip.buaa.edu.cn/lichen/wp-content/cache/tex_53ea25d2855d28d70acf79c7895b0315.png)
这就是多项式分布,归一化系数是把个对象划分成
组大小分别为
的可能划分总数。即:
![begin{pmatrix}N\m_1,cdots,m_K end{pmatrix} =frac{N!}{m_1!m_2!cdots m_K!}qquad(2.35)](http://isip.buaa.edu.cn/lichen/wp-content/cache/tex_22938f37dd1a326b110efee2fe7d047e.png)
注意到变量m_k需要满足:
![sum_{k=1}^K m_k=Nqquad(2.36)](http://isip.buaa.edu.cn/lichen/wp-content/cache/tex_c20a2f2bb0f135d7c2a26c8489040060.png)
**************************************************************
我喜欢程序员,他们单纯、固执、容易体会到成就感;面对困难,能够不休不眠;面对压力,能够迎接挑战。他们也会感到困惑与傍徨,但每个程序员的心中都有一个比尔盖茨或是乔布斯的梦想,用智慧把属于自己的事业开创。其实我是一个程序员[=.=]
我喜欢程序员,他们单纯、固执、容易体会到成就感;面对困难,能够不休不眠;面对压力,能够迎接挑战。他们也会感到困惑与傍徨,但每个程序员的心中都有一个比尔盖茨或是乔布斯的梦想,用智慧把属于自己的事业开创。其实我是一个程序员[=.=]