[Bayes] Multinomials and Dirichlet distribution
From: https://www.cs.cmu.edu/~scohen/psnlp-lecture6.pdf 不错的PPT，图示很好。
伯努利分布 和 多项式分布
Binomial Distribution的共轭先验Beta Distribution。
贝塔分布的范围符合色子的每一面的概率理解。
同理：
Multinomials Distribution的共轭先验Dirichlet Distribution。
Ref: https://docs.scipy.org/doc/numpy/reference/generated/numpy.random.multinomial.html
>>> np.random.multinomial(20, [1/6.]*6, size=2) # 做size=2次实验，一次是20次抛投
array([[3, 4, 3, 3, 4, 3], # 第一次实验的结果：第一面出现了3次，第二面出现了4次，etc.
[2, 4, 3, 4, 0, 7]]) # 第二次实验同理。
没法做图表示，维度太高了，大于了三维。第三维要留下来表示Pr。
狄利克雷分布：
Dirichlet分布可以看做是分布之上的分布。如何理解这句话，我们可以先举个例子：
- 假设我们有一个骰子，其有六面，分别为{1,2,3,4,5,6}。现在我们做了10000次投掷的实验，得到的实验结果是六面分别出现了{2000,2000,2000,2000,1000,1000}次，如果用每一面出现的次数与试验总数的比值估计这个面出现的概率，则我们得到六面出现的概率，分别为{0.2,0.2,0.2,0.2,0.1,0.1}。
- 我们想要做10000次试验，每次试验中我们都投掷骰子10000次。我们想知道，出现这样的情况使得我们认为，骰子六面出现概率为{0.2,0.2,0.2,0.2,0.1,0.1}的概率是多少（说不定下次试验统计得到的概率为{0.1, 0.1, 0.2, 0.2, 0.2, 0.2}这样了）。
这样我们就在思考骰子六面出现概率分布这样的分布之上的分布。
而这样一个分布就是Dirichlet分布。
- xi 代表每一面的概率。
- 阿尔法是参数向量。
- 以下B函数是为了归一化！
- 可以看出，每一个结果：(x1, x2... xn)都会相应地给出一个概率！
伽玛函数（Gamma函数），也叫欧拉第二积分，是阶乘函数在实数与复数上扩展的一类函数。
与之有密切联系的函数是贝塔函数（Beta函数），也叫第一类欧拉积分。可以用来快速计算同伽马函数形式相类似的积分。
长得比较诡异。
Ref: https://docs.scipy.org/doc/numpy/reference/generated/numpy.random.dirichlet.html
一个三维的向量，随机抽取一个。每一维代表一个面的概率。
>>> s = np.random.dirichlet((10, 5, 3), 20) >>> s array([[ 0.52347182, 0.44608268, 0.0304455 ], [ 0.55583862, 0.35281005, 0.09135134], [ 0.49311777, 0.32315067, 0.18373157], [ 0.70968695, 0.22268722, 0.06762583], [ 0.60323203, 0.26006693, 0.13670104], [ 0.69403583, 0.21325088, 0.09271329], [ 0.53413248, 0.23281167, 0.23305585], [ 0.62858314, 0.18519664, 0.18622022], [ 0.52497339, 0.20176998, 0.27325663], [ 0.47283724, 0.39204232, 0.13512045], [ 0.66621238, 0.24627779, 0.08750983], [ 0.43605494, 0.46696468, 0.09698038], [ 0.41539035, 0.37153284, 0.21307682], [ 0.85737303, 0.11670994, 0.02591703], [ 0.53161652, 0.28426861, 0.18411488], [ 0.55155807, 0.16826288, 0.28017905], [ 0.45716724, 0.33973818, 0.20309457], [ 0.45320309, 0.26896615, 0.27783076], [ 0.80522192, 0.10022979, 0.09454829], [ 0.45790405, 0.42998929, 0.11210666]])
可见，参数某个比较大时，会出现一个高的相对稳定的概率峰值。
>>> s = np.random.dirichlet((10, 1, 1), 20)
>>> s
array([[ 0.8557684 , 0.09807372, 0.04615788],
[ 0.83456424, 0.03670665, 0.12872911],
[ 0.73520196, 0.2017358 , 0.06306224],
[ 0.73759042, 0.18157695, 0.08083263],
[ 0.89338746, 0.00237974, 0.1042328 ],
[ 0.93393029, 0.01373741, 0.0523323 ],
[ 0.96453549, 0.02562915, 0.00983536],
[ 0.90688036, 0.02557378, 0.06754587],
[ 0.96455728, 0.02084742, 0.01459531],
[ 0.82136655, 0.07921894, 0.09941451],
[ 0.78585535, 0.00286702, 0.21127763],
[ 0.91597604, 0.0276861 , 0.05633787],
[ 0.90984927, 0.04313451, 0.04701622],
[ 0.81386422, 0.08610383, 0.10003195],
[ 0.92675313, 0.06861093, 0.00463594],
[ 0.98362761, 0.00299704, 0.01337535],
[ 0.90807198, 0.02043488, 0.07149314],
[ 0.90418455, 0.07209613, 0.02371932],
[ 0.9630694 , 0.00459631, 0.03233429],
[ 0.65105053, 0.05350025, 0.29544922]])
阿尔法和小一点，则less peaked：出现了些许不稳定，某一个Pr的垄断性不是特别强。
>>> s = np.random.dirichlet((5, 1, 1), 20)
>>> s
array([[ 0.7373676 , 0.17431797, 0.08831443],
[ 0.8022481 , 0.02474368, 0.17300822],
[ 0.90968516, 0.06022567, 0.03008917],
[ 0.9011515 , 0.02337192, 0.07547658],
[ 0.98846934, 0.00932316, 0.0022075 ],
[ 0.66322211, 0.24058232, 0.09619557],
[ 0.86661876, 0.0542239 , 0.07915735],
[ 0.48498043, 0.25048716, 0.26453241],
[ 0.79705359, 0.16538074, 0.03756567],
[ 0.68670999, 0.17210651, 0.1411835 ],
[ 0.65227745, 0.20477286, 0.1429497 ],
[ 0.73701086, 0.15733187, 0.10565728],
[ 0.68017492, 0.04459314, 0.27523195],
[ 0.50579841, 0.42922063, 0.06498096],
[ 0.71188347, 0.13582756, 0.15228897],
[ 0.69952146, 0.08344366, 0.21703488],
[ 0.39333132, 0.49440346, 0.11226522],
[ 0.47531785, 0.21319548, 0.31148667],
[ 0.67575678, 0.25481807, 0.06942515],
[ 0.83958139, 0.08429426, 0.07612435]])
共轭，得到后验如下：
