摘要：
Simulated Annealing，中文译作“模拟退火”，是一种很经典的随机搜索优化方法。1983年，影响深远的论文“Optimization by Simulated Annealing”由S. Kirkpatrick, C. D. Gelatt, Jr. 以及 M. P. Vecchi 联合 阅读全文
2019年3月27日
2017年8月15日
摘要：
立帖要读paper，已经过了快两周了，还一篇博文都没发出来，略汗。 今天第一篇，读的是今年ICML的十年Test of Time Award得奖论文Combining Online and Offline Knowledge in UCT，来自Sylvain Gelly和David Silver，发 阅读全文
2017年8月1日
摘要：
有快三年没有在这里写过博客文章了，时光飞逝。转眼我进入machine learning这个领域也有七年了。这七年，感觉也还只入了一个门，好多东西都还不懂，真是学无止境 :) 今年的ICML马上要在澳大利亚召开了，赶上这个时候，正好来读读paper。接下来一段时间我会慢慢写一些读今年ICML pape 阅读全文
2014年12月15日
摘要：
一个星期的NIPS终于开完了，Montreal的会场真是高大上，比去年的又大又新太多，设施很好，组织的也很好。因为离我们近，好多深藏不露的人物都来了，不光machine learning，好多vision，NLP和compbio的人也都来了，甚至Radford Neal这种鄙视publication... 阅读全文
2014年11月25日
摘要：
好久不更博了，今晚得空写一个关于Gumbel-Max trick的短篇。Gumbel-Max trick是一个把从multinomial distribution采样转化为一个离散优化问题的trick。更普遍地说，这个trick把一个采样问题转化为一个优化问题。对于某些模型，比如含有环的MRF，得到... 阅读全文
2014年7月7日
摘要：
今年的ICML在北京举行，于是可以顺便回趟国。6月底的北京，白天热，晚上却也凉快，开会期间天气都非常不错，很给面子。不过会前在北京玩的几天却一般，风云难测。还记得刚下飞机的时候，明显感觉到呼吸的空气就如同几十年的老房子里面散发出的腐朽湿气，那天天气也确实差，但国内的空气质量真是堪忧，该下决心治治了。... 阅读全文
2014年4月20日
摘要：
http://alexnisnevich.github.io/untrusted/每一关都需要编辑代码才能通过，很多关卡都需要不少思考。我非常享受整个游戏过程，也能学一点JavaScript的东西。 阅读全文
2014年4月7日
摘要：
最近用C++比较多，做一个project的时候遇到一个非常奇怪的问题。在学校的机器上用的是gcc 4.6.3，其他版本的我不知道有没有这个问题，clang上测的也没有这个问题。简单例子，我有一个库文件foo.cpp#include void f() { printf("f in foo\n"); }void g() { printf("g in foo\n"); f();}然后有一个使用这个库的文件test.cppvoid g();int main() { g(); return 0;}使用如下的编译命令：g++ -c foo.cpp -o foo.og 阅读全文
2014年3月31日
摘要：
前一阵Yair Weiss的学生Elad到组里访问，讲了他最近的研究，是关于f(x)/g(x)形式的优化问题。方法非常简单，道理也易懂，在这里记一下。f(x)/g(x)形式的优化问题，f(x)往往是目标函数，而g(x)类似于约束项。典型的例子比如图像分割用的normalized cut，其中f(x)是分割的花费函数，g(x)类似于分割块的大小，要最小化f(x)/g(x)就是要找到f(x)和g(x)的平衡点，既要花费小，也要分割块够大。Linear Discriminant Analysis的目标函数也类似，f(x)衡量两个类之间分得多开，g(x)衡量每个类的大小。想直接最小化f(x)/g(x) 阅读全文
2014年3月3日
摘要：
最近在Coursera上学一门Introduction to Astronomy的课程，讲到恒星演化末期的坍缩，需要用到相对论，于是课上也顺带介绍了一下相对论。一直对相对论感觉神秘不可理解的我几个video下来居然也能理解一些了。想想高中和大一大二学物理的时候讲相对论部分，纯粹只是记了几个公式，推导 阅读全文
2014年2月24日
摘要：
在generative model中，一般通过maximum likelihood来学习模型参数。含有隐藏变量时就需要将隐藏变量marginalize out，用marginal likelihood \(p(x) = \sum_h p(x, h)\)。对于log-likelihood，以下这个变换式是一个很常见的结论$$\begin{align*}\log \sum_h p(x,h) &= \log p(x)\\ &= \sum_h q(h) \log p(x) \\ &= \sum_h q(h) \log \frac{p(x,h)}{p(h|x)} \\ & 阅读全文
2013年12月20日
摘要：
刚刚过去的NIPS 2013是我参加的第一个机器学习会议，不愧是机器学习最高水平的盛会，几乎所有可以想象得到的知名学者都参加了会议，在会上也看到了好多有意思的idea。相比起之前参加的CVPR，NIPS的会议议程安排的要紧凑太多：主会期间从早上9点开始听报告，一直到下午6点，中午吃饭休息一个半小时，然后晚上7点到夜里12点是poster session，尽管有5个小时，可因为poster很多，有意思的也很多，5个小时有时候都不够用，往往大家还会讨论到十二点以后才回酒店。workshop期间，早上7点半就开始了，以至于我们不得不6点刚过就起床。我参加了主会和workshop，没有参加第一天的tu 阅读全文
2013年8月7日
摘要：
以前在Windows里面写C程序，总是用各种IDE，编译、链接之类的东西全不用操心，写好代码就好了。换到linux环境有几年了，写C程序不再用IDE，而是自己用gcc/g++编译，不过之前的程序都不大，也没真正用到gcc/g++的各个选项。现在在学习cuda c，有了一些可以公用的工具代码，想要封装成库文件以共享，这才学会了使用shared library动态链接库。在这里总结一下，其实非常容易。首先要对C的编译过程有个基本的了解。编译的第一步是预编译，处理各种预编译指令，各种带#号的指令如#include, #define都是预编译命令。#define是简单的字符串替换，而#include则 阅读全文
2013年7月16日
摘要：
PCA (Principle Component Analysis)，主成分分析，是用的最广泛的数据预处理方法之一。同时PCA是一个almost always works的经典方法，基本上几乎所有的数据用PCA处理过以后再做后续的分类，往往会得到精度提升，不像很多其他方法只适用于某些数据而不适用于另一些数据。为什么PCA这么有效呢？我想主要是因为数据中普遍多多少少存在噪声，用PCA抽取主成分以后，噪声被滤除很多，使得分类变得更容易。另外，一些模型本身对数据空间有一些bias，用PCA做变换之后也会有影响，但这里的影响比较不确定。说回PCA本身，PCA的想法是把数据从原空间投影到一个低维空间，使 阅读全文
2013年7月10日
摘要：
在这里总结一些CVPR'13中有意思的文章，备忘。因为个人喜好和研究方向的关系，选的文章主要是learning、structured prediction方面的，肯定不涵盖所有优秀的文章。先列一个列表，日后读过文章之后再来详细记录一下。Rolling Riemannian Manifolds to Solve the Multi-class Classification ProblemRui Caseiro, Pedro Martins, João F. Henriques, Fátima Silva Leite, Jorge BatistaDiscrete MRF 阅读全文
