摘要：
原理 给定样本集，k-means算法得到聚类，使得下面平方误差最小 其中表示聚类的中心点。 实现 上式最小化是一个NP难问题，实际上采用EM算法可以求得近似解。算法伪代码如下 输入：，聚类数量k 从D中随机选择k个样本点作为k个聚类的中心repeat 循环所有样本点，把样本点划分到最近的聚类中：ar 阅读全文
摘要：
《LDA数学八卦》对于LDA的Gibbs Sampling求解讲得很详细，在此不在重复在轮子，直接贴上该文这部分内容。 Gibbs Sampling 批注： 1、 对于第i个词语，上式k（主题类型）未知，取值范围为[1, K]，t（词语类型）已知，即观测值。 2、 由于doc-topic与topic 阅读全文
摘要：
PLSA模型是基于频率派思想的，每篇文档的K个主题是固定的，每个主题的词语概率也是固定的，我们最终要求出固定的topic-word概率模型。贝叶斯学派显然不认同，他们认为，文档的主题未知，主题的词语分布未知，我们无法求解出精确值，只能计算doc-topic概率模型、topic-word概率模型的概率 阅读全文
摘要：
主题模型 主题模型这样理解一篇文章的生成过程： 1、 确定文章的K个主题。 2、 重复选择K个主题之一，按主题-词语概率生成词语。 3、 所有词语组成文章。 这里可以看到，主题模型仅仅考虑词语的数量，不考虑词语的顺序，所以主题模型是词袋模型。 主题模型有两个关键的过程： 1、 doc -> topi 阅读全文
摘要：
二维Gibbs Sampling算法 Gibbs Sampling是高维概率分布的MCMC采样方法。二维场景下，状态(x, y)转移到(x’, y’)，可以分为三种场景 （1）平行于y轴转移，如上图中从状态A转移到状态B。 （2）平行于x轴转移，如上图中从状态A转移到状态C。 （3）其他情况转移，如 阅读全文
摘要：
MCMC(Markov Chain Monte Carlo)，即马尔科夫链蒙特卡洛方法，是以马尔科夫平稳状态作为理论基础，蒙特卡洛方法作为手段的概率序列生成技术。 MCMC理论基础 如果转移矩阵为P的马尔科夫链平稳状态和我们研究的概率质量函数（概率密度函数）分布一致，那么我么从任意初始值开始，经过一 阅读全文
摘要：
蒙特卡洛（Monte Carlo）法是一类随机算法的统称。随着二十世纪电子计算机的出现，蒙特卡洛法已经在诸多领域展现出了超强的能力。在机器学习和自然语言处理技术中，常常被用到的MCMC也是由此发展而来。本文通过蒙特卡洛法最为常见的一种应用——求解定积分，来演示这类算法的核心思想。 无意识统计学家法则 阅读全文
摘要：
马尔科夫链定义 马尔科夫链的定义如下 从定义中我们不难看出马氏链当前状态只与前一个状态相关。比如我们预测明天天气，只考虑今天天气状况，不考虑昨天前天的天气状况。 马尔科夫链平稳状态 举个具体的例子。社会学家把人按其经济状况分为3类：下层，中层，上层，我们用1,2,3表示这三个阶层。社会学家发现决定一 阅读全文
摘要：
Dirichlet分布 我们把Beta分布推广到高维的场景，就是Dirichlet分布。Dirichlet分布定义如下 Dirichlet分布与多项式分布共轭。多项式分布定义如下 共轭关系表示如下 Dirichlet-MultCount共轭理解 上述共轭关系我们可以这样理解，先验Dirichlet分 阅读全文
摘要：
https://blog.csdn.net/youanyyou/article/details/78990312 阅读全文