随笔分类 - 机器学习与概率
摘要：DAGNN 是Directed acyclic graph neural network 缩写，也就有向图非循环神经网络。我使用的是由MatConvNet 提供的DAGNN API。选择这套API作为工具的原因有三点，第一：这是matlab的API，相对其他语言我对Matlab比较熟悉；第二：有向图
阅读全文
摘要：概率图的学习真的要接近尾声了啊，了解的越多越发感受到它的强大。这周的作业本质上是data mining.从数据中学习PGM的结构和参数，完全使用数据驱动 —— No structure, No parameters. Data tell us everything 1、识别外星人 如此强大的工具要用
阅读全文
摘要：概率图模型的作业越往后变得越来越有趣了。当然，难度也是指数级别的上涨啊，以至于我用了两个周末才完成秋名山神秘车牌的寻找，啊不，CRF模型的训练。 条件随机场是一种强大的PGM，其可以对各种特征进行建模，同时可以使用随机梯度下降算法进行训练，训练的结果就是PGM中那些定义变量交互方式的参数。 1、LR
阅读全文
摘要：除了精确推理之外，我们还有非精确推理的手段来对概率图单个变量的分布进行求解。在很多情况下，概率图无法简化成团树，或者简化成团树后单个团中随机变量数目较多，会导致团树标定的效率低下。以图像分割为例，如果每个像素的label都是随机变量，则图中会有30W个随机变量（30W像素的小型相机）。且这30W个随
阅读全文
摘要：在前三周的作业中，我构造了概率图模型并调用第三方的求解器对器进行了求解，最终获得了每个随机变量的分布（有向图），最大后验分布（双向图）。本周作业的主要内容就是自行编写概率图模型的求解器。实际上，从根本上来说求解器并不是必要的。其作用只是求取边缘分布或者MAP，在得到联合CPD后，寻找联合CPD的最大
阅读全文
摘要：前两周的作业主要是关于Factor以及有向图的构造，但是概率图模型中还有一种更强大的武器——双向图（无向图、Markov Network）。与有向图不同，双向图可以描述两个var之间相互作用以及联系。描述的方式依旧是factor.本周的作业非常有实际意义——基于马尔科夫模型的图像文字识别系统(OCR
阅读全文
摘要：经过了一段时间的学习，我终于完成了PGM的所有视频课程，但是编程作业并没有结束。最大的体验是手里有了武器和手段，碰见问题不再束手无策或者需要根据自己的直觉经验来设计解决方法。其实按照目前的科技树而言，三种手段在手基本上就不需要担心任何综合型问题了：1、优化理论及方法; 2、深度学习理论；3、概率图模
阅读全文
摘要：1、综述 PGM的学习问题实际上是对参数进行推断。对于给定的数据，需要求出系统参数，从而完善系统的CPD。但是某些情况下，PGM的数据集可能是不完整的。数据集不完整可以分为两种情况：1、数据采集受到了影响；2、使用了隐变量。数据采集受到影响可能出于两种情况，第一种是影响与被采集数据是无关的，例如投硬
阅读全文
摘要：Week2的作业主要是关于概率图模型的构造，主要任务可以分为两个部分：1、构造CPD;2、构造Graph。对于有向图而言，在获得单个节点的CPD之后就可依据图对Combine CPD进行构造。在获得Combine CPD之后则可利用变量的观测来进行问答。此周作业的大背景是对基因型与表现型之间的关系进
阅读全文
摘要：概率图模型相比于其他学习算法的优势在于可以利用图结构来将已知信息带入到知识网络中。那么在使用概率图模型之前，往往要求图结构是已知的。而现实中或许我们并没有足够的先验知识，但是有大量的样本。如何通过样本对概率图的G进行推测就是这种学习算法要解决的问题。确实，在有大量样本的情况下，其他的Machine
阅读全文
摘要：Talk is cheap, I show you the code 第一章的作业主要是关于PGM的因子操作。实际上，因子是整个概率图的核心。对于有向图而言，因子对应的是CPD（条件分布）；对无向图而言，因子对应的是势函数。总而言之，因子是一个映射，将随机变量空间映射到实数空间。因子表现的是对变量之
阅读全文
摘要：在概率图模型中，有一类很重要的模型称为条件随机场。这种模型广泛的应用于标签—样本（特征）对应问题。与MRF不同，CRF计算的是“条件概率”。故其表达式与MRF在分母上是不一样的。 如图所示，CRF只对 label 进行求和，而不对dataset求和。 对于给定的数据集以及其对应标记，CRF的 E b
阅读全文
摘要：对数线性模型是无向图中经常使用的一种模型。其利用特征函数以及参数的方式对势函数进行定义，可获得较好的效果。在之前有向图的学习中，我们发现可以利用d-seperet，充分统计，狄利克雷函数等方式来很优雅的获得参数估计的解析解。但是在无向图中，这些优越的条件都不复存在。而无向图在现实条件下的使用却更为广
阅读全文
摘要：之前谈到学习就是利用数据集对参数进行最大似然估计。本质上是获取一组有效的参数。然而如果考虑一个这样的问题：一枚硬币扔10次有7次朝上；扔1000次有700次朝上。显然对于二者而言，对参数的估计都是0.7。但是如果我们已知硬币是无偏的，那么第一次可以告诉自己是意外，第二次却很难说服。极大似然估计的问题
阅读全文
摘要：最大似然估计的目标是获取模型中的参数。前提是模型已经是半成品，万事俱备只欠参数。此外，对样本要求独立同分布（参数就一套） 上图中x ~ B(theta). 样本数为M. 最大似然估计用似然函数作为优化目标，参数估计的过程为寻优过程。一般情况下认为，如果该参数使得数据发生的可能性最大，则该参数为最可能
阅读全文
摘要：今天Google的机器人AlphaGo获得了围棋对阵李世石的第二场胜利，我也进入到概率图模型学习模块的阶段。Machine Learning 令人着迷也令人畏惧。 ——题记 1、基于PGM的学习 ANN网络的拓扑结构往往是类似的。同一套模型以不同的样本进行训练，可以获得不同的结果。PGM可以人为的向
阅读全文
摘要：Koller 教授把决策作为一种单独的模块进行讲解，但我认为，决策和推理本质上是一样的，都是在假设已知CPD或者势函数的情况下对模型给出结论。 1、决策==逐利 决策的基本思想很intuitive，并且非常有用。在赌博行为中，最后获得的钱与硬币的正反，赌注的大小有关。硬币的正反显然是随机变量，而赌注
阅读全文
摘要：有一种很重要的概率图模型用于SLAM，视觉追踪，识别，传感融合等领域，称为为Template Model. 其特征是每个状态具有多个随机变量，下个状态随机变量的取值受到上个状态的影响。并且随机变量之间的交互属于复制关系。如下图所示： 显然，普通的概率图模型的图是确定的，并不会图的结构不会改变，而这种
阅读全文
摘要：基于采样的推理算法利用的思想是 概率 = 大样本下频率。故在获得图模型以及CPD的基础上，通过设计采样算法模拟事件发生过程，即可获得一系列事件（联合概率质量函数）的频率，从而达到inference的目的。 1、采样的做法 使用采样算法对概率图模型进行随机变量推理的前提是已经获得CPD。举个简单的例子
阅读全文
摘要：MAP 是最大后验概率的缩写。后验概率指的是当有一定观测结果的情况下，对其他随机变量进行推理。假设随机变量的集合为X ，观察到的变量为 e， W = X-e , AP = P(W|e). 后验概率和联合概率是不同的两个概念。事实上，后验概率更接近推理本身的“意义”，并且被越来越多的用于诊断系统中。在
阅读全文
浙公网安备 33010602011771号