IronStark

摘要： Week2的作业主要是关于概率图模型的构造，主要任务可以分为两个部分：1、构造CPD;2、构造Graph。对于有向图而言，在获得单个节点的CPD之后就可依据图对Combine CPD进行构造。在获得Combine CPD之后则可利用变量的观测来进行问答。此周作业的大背景是对基因型与表现型之间的关系进 阅读全文

摘要： 概率图模型相比于其他学习算法的优势在于可以利用图结构来将已知信息带入到知识网络中。那么在使用概率图模型之前，往往要求图结构是已知的。而现实中或许我们并没有足够的先验知识，但是有大量的样本。如何通过样本对概率图的G进行推测就是这种学习算法要解决的问题。确实，在有大量样本的情况下，其他的Machine 阅读全文

摘要： Talk is cheap, I show you the code 第一章的作业主要是关于PGM的因子操作。实际上，因子是整个概率图的核心。对于有向图而言，因子对应的是CPD（条件分布）；对无向图而言，因子对应的是势函数。总而言之，因子是一个映射，将随机变量空间映射到实数空间。因子表现的是对变量之 阅读全文

摘要： 在概率图模型中，有一类很重要的模型称为条件随机场。这种模型广泛的应用于标签—样本（特征）对应问题。与MRF不同，CRF计算的是“条件概率”。故其表达式与MRF在分母上是不一样的。 如图所示，CRF只对 label 进行求和，而不对dataset求和。 对于给定的数据集以及其对应标记，CRF的 E b 阅读全文

摘要： 对数线性模型是无向图中经常使用的一种模型。其利用特征函数以及参数的方式对势函数进行定义，可获得较好的效果。在之前有向图的学习中，我们发现可以利用d-seperet，充分统计，狄利克雷函数等方式来很优雅的获得参数估计的解析解。但是在无向图中，这些优越的条件都不复存在。而无向图在现实条件下的使用却更为广 阅读全文

摘要： 之前谈到学习就是利用数据集对参数进行最大似然估计。本质上是获取一组有效的参数。然而如果考虑一个这样的问题：一枚硬币扔10次有7次朝上；扔1000次有700次朝上。显然对于二者而言，对参数的估计都是0.7。但是如果我们已知硬币是无偏的，那么第一次可以告诉自己是意外，第二次却很难说服。极大似然估计的问题 阅读全文

摘要： 最大似然估计的目标是获取模型中的参数。前提是模型已经是半成品，万事俱备只欠参数。此外，对样本要求独立同分布（参数就一套） 上图中x ~ B(theta). 样本数为M. 最大似然估计用似然函数作为优化目标，参数估计的过程为寻优过程。一般情况下认为，如果该参数使得数据发生的可能性最大，则该参数为最可能 阅读全文

摘要： 今天Google的机器人AlphaGo获得了围棋对阵李世石的第二场胜利，我也进入到概率图模型学习模块的阶段。Machine Learning 令人着迷也令人畏惧。 ——题记 1、基于PGM的学习 ANN网络的拓扑结构往往是类似的。同一套模型以不同的样本进行训练，可以获得不同的结果。PGM可以人为的向 阅读全文

摘要： Koller 教授把决策作为一种单独的模块进行讲解，但我认为，决策和推理本质上是一样的，都是在假设已知CPD或者势函数的情况下对模型给出结论。 1、决策==逐利 决策的基本思想很intuitive，并且非常有用。在赌博行为中，最后获得的钱与硬币的正反，赌注的大小有关。硬币的正反显然是随机变量，而赌注 阅读全文

摘要： 有一种很重要的概率图模型用于SLAM，视觉追踪，识别，传感融合等领域，称为为Template Model. 其特征是每个状态具有多个随机变量，下个状态随机变量的取值受到上个状态的影响。并且随机变量之间的交互属于复制关系。如下图所示： 显然，普通的概率图模型的图是确定的，并不会图的结构不会改变，而这种 阅读全文