coshaho

2018年10月13日

摘要：原理给定样本集，k-means算法得到聚类，使得下面平方误差最小其中表示聚类的中心点。实现上式最小化是一个NP难问题，实际上采用EM算法可以求得近似解。算法伪代码如下输入：，聚类数量k 从D中随机选择k个样本点作为k个聚类的中心repeat 循环所有样本点，把样本点划分到最近的聚类中：ar 阅读全文

posted @ 2018-10-13 23:56 coshaho 阅读(856) 评论(0) 推荐(0)

2018年10月6日

LDA的Gibbs Sampling求解

摘要：《LDA数学八卦》对于LDA的Gibbs Sampling求解讲得很详细，在此不在重复在轮子，直接贴上该文这部分内容。 Gibbs Sampling 批注： 1、对于第i个词语，上式k（主题类型）未知，取值范围为[1, K]，t（词语类型）已知，即观测值。 2、由于doc-topic与topic 阅读全文

posted @ 2018-10-06 11:59 coshaho 阅读(625) 评论(0) 推荐(0)

LDA主题模型

摘要： PLSA模型是基于频率派思想的，每篇文档的K个主题是固定的，每个主题的词语概率也是固定的，我们最终要求出固定的topic-word概率模型。贝叶斯学派显然不认同，他们认为，文档的主题未知，主题的词语分布未知，我们无法求解出精确值，只能计算doc-topic概率模型、topic-word概率模型的概率阅读全文

posted @ 2018-10-06 01:12 coshaho 阅读(1042) 评论(0) 推荐(0)

2018年10月5日

PLSA主题模型

摘要：主题模型主题模型这样理解一篇文章的生成过程： 1、确定文章的K个主题。 2、重复选择K个主题之一，按主题-词语概率生成词语。 3、所有词语组成文章。这里可以看到，主题模型仅仅考虑词语的数量，不考虑词语的顺序，所以主题模型是词袋模型。主题模型有两个关键的过程： 1、 doc -> topi 阅读全文

posted @ 2018-10-05 20:23 coshaho 阅读(5374) 评论(0) 推荐(0)

Gibbs Sampling深入理解

摘要：二维Gibbs Sampling算法 Gibbs Sampling是高维概率分布的MCMC采样方法。二维场景下，状态(x, y)转移到(x’, y’)，可以分为三种场景（1）平行于y轴转移，如上图中从状态A转移到状态B。（2）平行于x轴转移，如上图中从状态A转移到状态C。（3）其他情况转移，如阅读全文

posted @ 2018-10-05 00:15 coshaho 阅读(3305) 评论(0) 推荐(0)

2018年10月4日

MCMC算法深入理解

摘要： MCMC(Markov Chain Monte Carlo)，即马尔科夫链蒙特卡洛方法，是以马尔科夫平稳状态作为理论基础，蒙特卡洛方法作为手段的概率序列生成技术。 MCMC理论基础如果转移矩阵为P的马尔科夫链平稳状态和我们研究的概率质量函数（概率密度函数）分布一致，那么我么从任意初始值开始，经过一阅读全文

posted @ 2018-10-04 21:32 coshaho 阅读(5777) 评论(0) 推荐(0)

2018年10月3日

蒙特卡洛法

摘要：蒙特卡洛（Monte Carlo）法是一类随机算法的统称。随着二十世纪电子计算机的出现，蒙特卡洛法已经在诸多领域展现出了超强的能力。在机器学习和自然语言处理技术中，常常被用到的MCMC也是由此发展而来。本文通过蒙特卡洛法最为常见的一种应用——求解定积分，来演示这类算法的核心思想。无意识统计学家法则阅读全文

posted @ 2018-10-03 23:33 coshaho 阅读(20924) 评论(1) 推荐(3)

马尔科夫链及其平稳状态

摘要：马尔科夫链定义马尔科夫链的定义如下从定义中我们不难看出马氏链当前状态只与前一个状态相关。比如我们预测明天天气，只考虑今天天气状况，不考虑昨天前天的天气状况。马尔科夫链平稳状态举个具体的例子。社会学家把人按其经济状况分为3类：下层，中层，上层，我们用1,2,3表示这三个阶层。社会学家发现决定一阅读全文

posted @ 2018-10-03 21:22 coshaho 阅读(29357) 评论(1) 推荐(9)

Dirichlet分布深入理解

摘要： Dirichlet分布我们把Beta分布推广到高维的场景，就是Dirichlet分布。Dirichlet分布定义如下 Dirichlet分布与多项式分布共轭。多项式分布定义如下共轭关系表示如下 Dirichlet-MultCount共轭理解上述共轭关系我们可以这样理解，先验Dirichlet分阅读全文

posted @ 2018-10-03 17:00 coshaho 阅读(6217) 评论(0) 推荐(0)

2018年9月29日

xmldecoder漏洞

摘要： https://blog.csdn.net/youanyyou/article/details/78990312 阅读全文

posted @ 2018-09-29 11:37 coshaho 阅读(351) 评论(0) 推荐(0)

公告