摘要：
阅读全文
随笔档案-2013年06月
Sparsity稀疏编码（三）
2013-06-26 22:45 by Loull, 706 阅读, 收藏, 编辑
摘要：
稀疏编码(sparse coding)和低秩矩阵(low rank)的区别 上两个小结介绍了稀疏编码的生命科学解释，也给出一些稀疏编码模型的原型(比如LASSO),稀疏编码之前的探讨文章就不说了，今天开始进入机器学习领域的稀疏表达。稀疏编码进入机器学习领域后，出现了很多应用，比如计算视觉领域的图像去噪，去模糊，物体检测，目标识别和互联网领域的推荐系统（Collaborative f... 阅读全文
Sparsity稀疏编码（二）
2013-06-26 22:43 by Loull, 687 阅读, 收藏, 编辑
摘要：
为了更进一步的清晰理解大脑皮层对信号编码的工作机制（策略），需要把他们转成数学语言，因为数学语言作为一种严谨的语言，可以利用它推导出期望和要寻找的程式。本节就使用概率推理（bayes views）的方式把稀疏编码扩展到随时间变化的图像上，因为人类或者哺乳动物在日常活动中通过眼睛获取的信号是随时间变化而变化的，对于此类信号仍然有一些稀疏系数和基可以描述他们，同类型的处理方式也有慢特征分... 阅读全文
Sparsity稀疏编码（一）
2013-06-26 22:16 by Loull, 2124 阅读, 收藏, 编辑
摘要：
稀疏编码来源于神经科学，计算机科学和机器学习领域一般一开始就从稀疏编码算法讲起，上来就是找基向量（超完备基），但是我觉得其源头也比较有意思，知道根基的情况下，拓展其应用也比较有底气。哲学、神经科学、计算机科学、机器学习科学等领域的砖家、学生都想搞明白人类大脑皮层是如何处理外界信号的，大脑对外界的“印象”到底是什么东东。围绕这个问题，哲学家在那想、神经科学家在那用设备观察、计算机和机器学习科学家则是... 阅读全文
概念学习和归纳偏置
2013-06-26 20:09 by Loull, 3823 阅读, 收藏, 编辑
摘要：
原创作品，允许转载，转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://underthehood.blog.51cto.com/2531780/590838By RaySaint 2011/06/17概念学习和归纳偏置感觉概念学习现在提得很少，可能是因为在机器学习的实际应用中很少用到，但是从概念学习中很容易引出归纳偏置的概念，而归纳偏置是个很重要的概念，因此这次会简单讲讲概念学习，着重于归纳偏置。可以看到归纳偏置对于机器学习的重要性。概念学习给定一样例集合以及每个样例是否属于某一概念的标注，怎样自动推断出该概念的一般定义。这一问题被称为概念学习。一 阅读全文
java map典型排序
2013-06-22 20:04 by Loull, 250 阅读, 收藏, 编辑
摘要：
List> list = new ArrayList>(disMap.entrySet()); Collections.sort(list, new Comparator>() { @Override public int compare(Entry o1, Entry o2) { return o2.getValue().compareTo(o1.getValue()); } }); 阅读全文
java构建树用的Node
2013-06-22 20:03 by Loull, 1066 阅读, 收藏, 编辑
摘要：
package org.ccnt.med.body;import java.util.ArrayList;import java.util.List;public class Node { // 叶子节点 public final static String TYPE_LEAF = "leaf"; // 有子节点的节点 public final static Stri... 阅读全文
【PGM】Representation--Knowledge Engineering，不同的模型表示，变量的类型，structure & parameters
2013-06-18 16:33 by Loull, 378 阅读, 收藏, 编辑
摘要：
Part 1、重要的区别：Template based vs. specificDirected vs. undirectedGenerative vs. discriminative一、Template based vs. specificTemplate based: 较少的参数种类，feature会很多，要做feature engineering 比如image segmentationSpecific： 较多的参数种类 比如medical diagnose混合型： 比如fault diagnose二、Generative vs. discriminativeGener... 阅读全文
隐马尔科夫模型(Hidden Markov Models) 系列之五
2013-06-08 12:53 by Loull, 305 阅读, 收藏, 编辑
摘要：
隐马尔科夫模型(Hidden Markov Models) 系列之五 介绍（introduction)生成模式（Generating Patterns）隐含模式（Hidden Patterns）隐马尔科夫模型（Hidden Markov Models）前向算法（Forward Algorithm）维特比算法（Viterbi Algorithm）前向后向算法（Forward-Backward Algorithm）总结维特比算法(Viterbi Algorithm)找到可能性最大的隐藏序列通常我们都有一个特定的HMM，然后根据一个可观察序列去找到最可能生成这个可观察序列的隐藏序列。1.穷举搜索我们 阅读全文
隐马尔科夫模型(Hidden Markov Models) 系列之四
2013-06-08 12:52 by Loull, 355 阅读, 收藏, 编辑
摘要：
隐马尔科夫模型(Hidden Markov Models) 系列之四 介绍（introduction)生成模式（Generating Patterns）隐含模式（Hidden Patterns）隐马尔科夫模型（Hidden Markov Models）前向算法（Forward Algorithm）维特比算法（Viterbi Algorithm）前向后向算法（Forward-Backward Algorithm）总结前向算法(Forward Algorithm)一、如果计算一个可观察序列的概率？1.穷举搜索加入给定一个HMM，也就是说(,A,B)这个三元组已知，我 们想计算出某个可观察序列的概率 阅读全文
隐马尔科夫模型(Hidden Markov Models) 系列之二
2013-06-08 12:47 by Loull, 406 阅读, 收藏, 编辑
摘要：
隐马尔科夫模型(Hidden Markov Models) 系列之二 介绍（introduction)生成模式（Generating Patterns）隐含模式（Hidden Patterns）隐马尔科夫模型（Hidden Markov Models）前向算法（Forward Algorithm）维特比算法（Viterbi Algorithm）前向后向算法（Forward-Backward Algorithm）总结隐含模式（Hidden Patterns）当马尔科夫过程不够强大的时候，我们又该怎么办呢？在某些情况下马尔科夫过程不足以描述我们希望发现的模式。回到之前那个天气的例子，一个隐居的人可 阅读全文
隐马尔科夫模型(Hidden Markov Models) 系列之一
2013-06-08 12:35 by Loull, 641 阅读, 收藏, 编辑
摘要：
隐马尔科夫模型(Hidden Markov Models) 系列之一 介绍（introduction)生成模式（Generating Patterns）隐含模式（Hidden Patterns）隐马尔科夫模型（Hidden Markov Models）前向算法（Forward Algorithm）维特比算法（Viterbi Algorithm）前向后向算法（Forward-Backward Algorithm）总结介绍（introduction）通常我们总是对寻找某一段时间上的模式感兴趣，这些模式可能出现在很多领域：一个人在使用电脑的时候使用的命令的序列模式；一句话中的单词的序列；口语中的音素 阅读全文
动态贝叶斯网络(dynamic bayesian network)
2013-06-06 18:35 by Loull, 19659 阅读, 收藏, 编辑
摘要：
动态贝叶斯网络 我们已经在静态世界的上下文中发展了用于概率推理的技术，在这里每个随机变量都有一个唯一的固定取值。例如，在修理汽车时，我们总是假设在整个诊断过程中发生故障的部分一直都是有故障的（与时间无关）；我们的 任务是根据已观察到的证据推断汽车的状态，而这个状态是保持不变的。但是现实世界中的事件往往都是与时间有关系的，是动态的，对于这样的动态情景该如何建模？ 精确复制的，并且动态贝叶斯网络表示的是一个一阶马尔可夫过程，所以每个变量的父节点http://hi.baidu.com/feixue2015/item/b54e0314f18a3d0fd1d66d1e 阅读全文
Belief propagation
2013-06-06 18:31 by Loull, 589 阅读, 收藏, 编辑
摘要：
http://hi.baidu.com/binaryfan/item/f70b18ab05c04a3e030a4d65今天先说说belief propagation吧。这是machine learning的泰斗J. Pearl的最重要的贡献。对于统计学来说，它最重要的意义就是在于提出了一种很有效的求解条件边缘概率(conditional marginal probability)的方法。说的有点晦涩了，其实所谓求解条件边缘概率，通俗地说，就是已知某些条件的情况下，推导另外某些事件发生的概率。如果涉及的因素只有那么几个，一个学过概率论的大学生就可以使用简单的概率公式计算出来。可是，在现实世界中有 阅读全文
【转】统计模型之间的比较，HMM，最大熵模型，CRF条件随机场
2013-06-06 18:21 by Loull, 5927 阅读, 收藏, 编辑
摘要：
HMM模型将标注看作马尔可夫链，一阶马尔可夫链式针对相邻标注的关系进行建模，其中每个标记对应一个概率函数。HMM是一种生成模型，定义了联 合概率分布 ，其中x和y分别表示观察序列和相对应的标注序列的随机变量。为了能够定义这种联合概率分布，生成模型需要枚举出所有可能的观察序列，这在实际运算过程中很困难，因为我们需要将观察序列的元素看做是彼此孤立的个体即假设每个元素彼此独立，任何时刻的观察结果只依赖于该时刻的状态。HMM模 型的这个假设前提在比较小的数据集上是合适的，但实际上在大量真实语料中观察序列更多的是以一种多重的交互特征形式表现，观察元素之间广泛存在长程相关性。在命名实体识别的任务中，由于实 阅读全文
【PGM】factor graph，因子图，势函数potential function，Template models
2013-06-06 16:26 by Loull, 14871 阅读, 收藏, 编辑
摘要：
factor(a function/table)是对于variables(the scope of the factor)的某种combination的fitness。在BN中factor就是conditional probability distribution(CPD);但factor并不总对应着某种概率（当然也不一定取0~1），比如说在MRF中。和数据库table的操作类 似，factor上的基本操作有factor product ,factor marginalization & factor reduction。实际中最常用的模型大概是含有shared structure和s 阅读全文
【转】动态模型及其求解介绍–番外篇
2013-06-06 15:21 by Loull, 610 阅读, 收藏, 编辑
摘要：
上一篇文章（中篇）里 面，我用的示意图是因子图，而里面也出现了Psi函数，本来应该当时就解释清楚的，但实在没有精力写那么多东西，所以就想放到下篇讲的。后来发现，讲条件 随机场要结合有向无向图和independence graph，来推导模型，必须又花一些篇幅讲一下，这些都是基础背景，所以就一起推到这里来讲了。起名字还让我头疼，下已经被条件随机场预订了，这篇反正 都是背景知识，所以就叫番外篇吧。建议看整个系列的时候先看这篇，理解中和下(预计一周后动笔)就好理解多了。其实感觉我不大适合写很长的东西，目前所有的内容，我本来准备集中一篇文章搞定的，后来想分上下部，写到中途又决定分上中下，再到现在的番外 阅读全文
【PGM】贝叶斯网络 bayes-net，动态贝叶斯Dynamic Bayesian Network
2013-06-06 10:54 by Loull, 491 阅读, 收藏, 编辑
摘要：
BN总结1、一种分类的简单方法 计算效率高 构建简单2、在有很多弱相关features的领域会出奇的有效3、很强的独立性假设，如果features之间是强相关的，性能会降低DBN总结：1、DBNs能紧凑的表现出 任意时间轨迹长度的结构化的分布。2、DBNs有很多假设，这些假设要求有合适的模型(重)设计。 Markov 假设 时间不变性Time invariance 阅读全文
20130605
2013-06-05 13:42 by Loull, 220 阅读, 收藏, 编辑
摘要：
不知道干什么的时候，就学习吧。守弱。贝叶斯。人总是不断的在做决策，然后去实践。优化目标是什么？活的更容易点，一些欲望得到满足。看过一篇文章，好像说的是人生就是双方欲望的妥协总是依着习惯做事情。总有浑浑噩噩，不知道该干什么的时候。所学的东西的价值，会有很多时候，花了很大的功夫去学一个东西，结果没什么价值。如何避免？这个世界真的有很多是我不懂、不知道、不理解的，而且基本上这辈子都不可能知道的，所以就没办法先去知道是什么，然后去做。就像做决策，整个人生不可能是动态规划，很多时候是贪心算法，但可以使用类动态规划，即强化学习。是的，有很多事情，在不是很清楚具体会怎么样的时候，也可以去做了。 阅读全文
【转】动态模型及其求解介绍—下
2013-06-05 11:08 by Loull, 506 阅读, 收藏, 编辑
摘要：
之前，我们大致介绍了解线性动态模型的前三种代表性方法，并画了这么一张图来表示他们之间的关系。这一篇文章中，会对最后一种方法，CRF进行一些介绍。建议看这一篇文章之前，至少先把最大熵模型复习一遍，方便理解两者的关系。然后看看动态模型及其求解介绍—番外篇，对示意图的表示有一个比较清晰的认识。从关系图中我们看到，和NB与HMM之间的关系一样，CRF实际上就是序列版本的ME模型。当然你可以说最大熵马尔可夫也是一个序列模型，但是中篇文章已经提到了该模型的缺点了。而CRF则是用另一种思路去考虑问题的。也可以这样说，CRF是马尔可夫网络的一种变体。现在就来介绍一下，什么叫条件随机场。我们从之前的模型介绍看到 阅读全文
【转】动态模型及其求解介绍—中
2013-06-05 11:07 by Loull, 423 阅读, 收藏, 编辑
摘要：
在上一篇文章里面，我们提到了解线性动态模型的四种代表性方法，并画了这么一张图来表示他们之间的关系。这一篇文章中，我就针对他们的原理以及相互关系，来进行一些介绍。考虑到这四种方法中，朴素贝叶斯，隐马尔可夫，最大熵模型都是比较熟悉的，所以不做重点介绍，介绍的中心会放在中文资料很少的CRF(中文有人翻译成条件随机场)上面。但CRF会由以上三种方法引出来。好，切入正题。先给出演示情景模型。假设我们有特征向量x=(x1,x2,……xm)，你可以把它们想像成一封封即将来到你邮箱的邮件，现在你想对这些邮件进行判断归类，这个类别变量就是y，把y看成是向量集的话，就是y=(y1,y2,……,ym)。 我们先从. 阅读全文
【转】动态模型及其求解介绍—上
2013-06-05 11:06 by Loull, 1026 阅读, 收藏, 编辑
摘要：
http://www.kunli.info/2009/07/02/dynamic-model-solution-1/动态模型的应用在移动计算中可谓日渐繁荣，不管是从传统领域转移过来的识别，智能控制等领域，还是新兴的情景信息利用，都需要对动态模型应用的掌握。正好下一个项目可能会用到通过动态模型做机器识别的算法，就在这里整理一下以前的课程和看的paper获得的知识。这个上篇不会具体介绍算法，而是先大致介绍一下线性和非线性模型，然后从大方向上介绍一下解线性模型的一些常用方法。等下一次有一段连续空闲时间的时候，我准备将这几种常用方法的详细介绍和比较写成下篇。非线性模型解法的数学推导过于复杂，我也不用， 阅读全文
【网摘】收藏微软TrueSkill算法相关，动态模型及其求解，factor graph
2013-06-05 10:42 by Loull, 417 阅读, 收藏, 编辑
摘要：
Computing Your Skill：http://www.moserware.com/2010/03/computing-your-skill.htmlOnline Bayesian Probit Regression介绍之ELO评分系统Online Bayesian Probit Regression介绍之Factor Graph===动态模型及其求解介绍—番外篇动态模型及其求解介绍—上动态模型及其求解介绍—中动态模型及其求解介绍—下 阅读全文
【PGM】条件独立图，有向独立图，I-map，因子分析
2013-06-04 19:48 by Loull, 418 阅读, 收藏, 编辑
摘要：
一、条件独立图二、有向独立图三、I-MapG1是I(P1)的I-mapG2不是I(P2)的I-map四、因子分析 阅读全文
【PGM】Probabilistic Graphical Model 学习笔记
2013-06-04 18:45 by Loull, 1455 阅读, 收藏, 编辑
摘要：
http://blog.sina.com.cn/s/blog_461db08c0101jv5j.html最近在学习Stanford的Daphne Koller讲的Probabilistic Graphical Model的网络课程。整个课程有10周，但我的水平有限，肯定要超过10周了。笔记是根据课程安排的，记录了我觉得重要的地方，和我不明白的地方，以便自己以后快速查看。我会随时根据学习情况更新这一篇微博的。欢迎讨论和指出错误之处。 6.Markov NetworkFundamentals6.1 Pairwise MarkovNetworkPairwise 的 MarkovNetwork各个相邻 阅读全文
古典音乐作品的命名原则
2013-06-03 12:40 by Loull, 2001 阅读, 收藏, 编辑
摘要：
一般来说,古典音乐曲名的构成有以下几种情况： 1、体裁+主奏乐器+调性,多用于协奏曲concert、奏鸣曲sonata，如concerto for piano in E-flat major（降E大调钢琴协奏曲）有时或可写作piano concerto。有一点要注意，Concerto是意大利文，复数是concerti。其中的各个乐章movement多用节拍符号表示，另附在下面。 2、约定俗成的称呼+体裁，多用于一些知名度较大的作品或创作时名称不明确，后人起名的作品，或是圆舞曲。如巴赫的Brandenburg Concerto（勃兰登堡协奏曲）、Englishi/French Suite（英国/ 阅读全文
