2013 年 11月随笔档案 - tornadomeet

11 2013 档案

Deep learning：五十(Deconvolution Network简单理解)

摘要：深度网络结构是由多个单层网络叠加而成的，而常见的单层网络按照编码解码情况可以分为下面3类：既有encoder部分也有decoder部分：比如常见的RBM系列（由RBM可构成的DBM, DBN等），autoencoder系列(以及由其扩展的sparse autoencoder, denoise a... 阅读全文

posted @ 2013-11-26 21:05 tornadomeet 阅读(34997) 评论(10) 推荐(4) 编辑

Deep learning：四十九(RNN-RBM简单理解)

摘要：前言：本文主要是bengio的deep learning tutorial教程主页中最后一个sample：rnn-rbm in polyphonic music. 即用RNN-RBM来model复调音乐，训练过程中采用的是midi格式的音频文件，接着用建好的model来产生复调音乐。对音乐建模的难点在与每首乐曲中帧间是高度时间相关的（这样样本的维度会很高），用普通的网络模型是不能搞定的（普通设计网络模型没有考虑时间维度，图模型中的HMM有这方面的能力），这种情况下可以采用RNN来处理，这里的RNN为recurrent neural network中文为循环神经网络，另外还有一种RNN为... 阅读全文

posted @ 2013-11-23 21:54 tornadomeet 阅读(90075) 评论(6) 推荐(4) 编辑

Deep learning：四十八(Contractive AutoEncoder简单理解)

摘要：Contractive autoencoder是autoencoder的一个变种，其实就是在autoencoder上加入了一个规则项，它简称CAE（对应中文翻译为？）。通常情况下，对权值进行惩罚后的autoencoder数学表达形式为：这是直接对W的值进行惩罚的，而今天要讲的CAE其数学表达式同样非常简单，如下：其中的是隐含层输出值关于权重的雅克比矩阵，而表示的是该雅克比矩阵的F范数的平方，即雅克比矩阵中每个元素求平方然后求和，更具体的数学表达式为：关于雅克比矩阵的介绍可参考雅克比矩阵&行列式——单纯的矩阵和算子，关于F范数可参考我前面的博文Sparse ... 阅读全文

posted @ 2013-11-20 23:37 tornadomeet 阅读(19050) 评论(15) 推荐(1) 编辑

Deep learning：四十七(Stochastic Pooling简单理解)

摘要：CNN中卷积完后有个步骤叫pooling, 在ICLR2013上，作者Zeiler提出了另一种pooling手段(最常见的就是mean-pooling和max-pooling)，叫stochastic pooling，在他的文章还给出了效果稍差点的probability weighted pooling方法。 stochastic pooling方法非常简单，只需对feature map中的元素按照其概率值大小随机选择，即元素值大的被选中的概率也大。而不像max-pooling那样，永远只取那个最大值元素。假设feature map中的pooling区域元素值如下： 3*3大小... 阅读全文

posted @ 2013-11-19 19:11 tornadomeet 阅读(27669) 评论(3) 推荐(0) 编辑

Deep learning：四十六(DropConnect简单理解)

摘要：和maxout(maxout简单理解)一样，DropConnect也是在ICML2013上发表的，同样也是为了提高Deep Network的泛化能力的，两者都号称是对Dropout(Dropout简单理解)的改进。我们知道，Dropout是在训练过程中以一定概率1-p将隐含层节点的输出值清0，而用bp更新权值时，不再更新与该节点相连的权值。用公式描述如下：其中v是n*1维的列向量，W是d*n维的矩阵，m是个d*1的01列向量，a(x)是一个满足a(0)=0的激发函数形式。这里的m和a(Wv)相乘是对应元素的相乘。而DropConnect的思想也很简单，与Dropout不同的是... 阅读全文

posted @ 2013-11-18 21:46 tornadomeet 阅读(24238) 评论(0) 推荐(0) 编辑

Deep learning：四十五(maxout简单理解)

摘要：maxout出现在ICML2013上，作者Goodfellow将maxout和dropout结合后，号称在MNIST, CIFAR-10, CIFAR-100, SVHN这4个数据上都取得了start-of-art的识别率。从论文中可以看出，maxout其实一种激发函数形式。通常情况下，如果激发函数采用sigmoid函数的话，在前向传播过程中，隐含层节点的输出表达式为：其中W一般是2维的，这里表示取出的是第i列，下标i前的省略号表示对应第i列中的所有行。但如果是maxout激发函数，则其隐含层节点的输出表达式为：这里的W是3维的，尺寸为d*m*k，其中d表示输入层节... 阅读全文

posted @ 2013-11-18 10:10 tornadomeet 阅读(59684) 评论(13) 推荐(3) 编辑

Deep learning：四十四(Pylearn2中的Quick-start例子)

摘要：前言：听说Pylearn2是个蛮适合搞深度学习的库，它建立在Theano之上，支持GPU(估计得以后工作才玩这个，现在木有这个硬件条件)运算，由DL大牛Bengio小组弄出来的，再加上Pylearn2里面已经集成了一部分常见的DL算法，本着很想读读这些算法的源码和细节这一想法，打算学习下Pylearn2的使用. 网上这方面的中文资料简直是太少了，虽然本博文没什么实质内容，但也写贴出来，说不定可以帮到一些初学者。从Bengio的一篇paper: Pylearn2: a machine learning research library可以看出，Pylearn2主要是针对机器学习开发者... 阅读全文

posted @ 2013-11-14 23:49 tornadomeet 阅读(15521) 评论(13) 推荐(2) 编辑

搜索

常用链接

我的标签

积分与排名

随笔分类 (468)

随笔档案 (252)

阅读排行榜

评论排行榜

推荐排行榜

最新评论