deep learning学习记录三

deep learning，这几年有多火！！

 

imagenet比赛，大家今年都是基于去年的基础上改进和应用的，效果比去年提升当然。

 

在deep learning方向，hinton, benjio, lecun, andrew等这些人算是武林中的掌门人吧。hinton提出来RBM，让深层神经网络有可以训练的机会了。但是，现在大家都不用RBM，因为用梯度下降也能达到很好的效果。说到梯度下降，我觉得这个要说andrew，他们那里对sgd做了不少工作。hinton组的应用做的是非常好的，所以人家被google收购了？？benjio，真是善人啊，写了不少review类的东西，当然人家工作做得很好，也就是因为这个所以才写出来牛的review，而且人家还update。lecun，主要是cnn了，其实现在大家在用的也都是cnn，所以我觉得其实他才是师爷级别的人物。

 

以前读书时，糊弄过HDP嘛，对graphical model了解一些，其实cnn也是graphical 的，呵呵，别鄙视我，我的意思是说，以前做graphical的，现在做cnn，应该转型容易很多的。至少这个有向图你很了解的。所以，看到andrew的工作就知道人家是多产啊，不过他们的工作在sgd上更多些，2013年的文章里，又利用GPU实现了cnn的detection，也是一个标志性工作。另外，xiaogang wang，那是大拿啊，之前读书时，一直跟踪他的工作，工作了反而关注的少了，今天再去看，他们实验室是要把iccv2013拿下的意思吗？？？难道是实验室人手一篇iccv2013？都是用deep network做的，又有了跟踪目标啊。