随笔分类 - Probabilitic Graphical Model
摘要：1.http://pgm.stanford.edu/
阅读全文
摘要：最优特征子集：选出特征的子集，能够比较准确的代表原来的特征。马尔科夫毯（MB）是贝叶斯网络（BN）的最有特征子集。 推测贝叶斯网络的网络结构是NP问题。贝叶斯网络中一个节点T的马尔科夫毯是其父节点，子节点和配偶节点的集合。
阅读全文
摘要：平均场理论（Mean Field Method）：举个简单的例子就是，平面上有很多的电荷，我们想研究这些电荷对电荷A的影响，我们不必一个一个电荷去研究这些电荷对电荷A的影响，我们可以考虑这些电荷组成的一个整体，而这个整体可以被等效为一个电荷，然后直接研究这个等效电荷对电荷A的影响，这就大大简化了分析
阅读全文
摘要：该函数由欧拉（22岁）在1729年得出。 实数域上的伽马函数： 由上式我们可以看出为什么会有伽马函数：为了把阶乘数列推广到实数上。 复数域上的伽马函数： 常用性质： Γ（x+1）=xΓ(x) ，,B(a,b)称为第一型欧拉积分，伽马函数是第二型欧拉积分。 伽马分布： 余元公式： 对于想x>0 ，伽马
阅读全文
摘要：1.基本采样算法（Basic Sampling Algorithms） 1.1.标准概率分布(Standard distributions) 1.2.拒绝采样(Rejection sampling) 1.3.可调节的拒绝采样(Adaptive rejection sampling) 1.4.重要采样
阅读全文
摘要：1.变分推断（Variational Inference） 1.1.分解概率分布(Factorized distributions) 1.2.分解近似的性质（Properties of factorized approximations） 1.3.例子：一元高斯分布（Example: The uni
阅读全文
摘要：LDA包含隐藏的主题。但是我们为什么要用隐藏主题，自己定义主题不好吗？有两方面原因： 1.我们不知道自己的定义的主题是否符合规模。如果对每个单词都定以个主题，粒度就太细，没有多样性。如果以大方向（如NBA)为一个主题，那么就太大太空，用户很难一下找到自己喜欢的东西。 2.基于上述理由，我们就想：那么
阅读全文
摘要：1.朴素贝叶斯分类器（NBs：Naive Bayes） 贝叶斯网络： 2.最大熵模型（MEM：Maximum Entropy Model） 3.隐马尔可夫模型（HMM：Hidden Markov Models） 4.最大熵马尔可夫模型（MEMM：Maximum Entropy Markov Mode
阅读全文
摘要：马尔科夫随机场（Markov Random Fields, MRFs） MRFs与Gibbs分布等价。 条件随机场（Conditional Random Fields, CRFs）： CRFs的训练方法：迭代梯度法（Iterative Scaling）和L-BFGS 迭代梯度法包括：GIS(Gene
阅读全文
摘要：参数估计：主要有EM算法和Gibbs采样 EM算法： Gibbs采样：
阅读全文
摘要：概率图模型建模分为三种：专家建模，数据建模，知识库建模。 结构学习： （1）基于评分搜索的结构学习： a.评分函数 所谓超参数，就是机器学习模型里面的框架参数，比如聚类方法里面类的个数，或者话题模型里面话题的个数等等，都称为超参数。它们跟训练过程中学习的参数（权重）是不一样的，通常是手工设定，不断试
阅读全文
摘要：分为有向概率图模型(Directed Probabilistic Graphical Model)，无向概率图模型(Undirected Probabilistic Graphical Model)，混合概率图模型(Mixed Probabilistic Graphical Model)。 有向概率
阅读全文