随笔分类 - 机器学习
摘要:以下文章转载自http://blog.sina.com.cn/s/blog_7103b28a0102w9tr.html 如有侵权,请留言,立即删除。 1 VC维的描述和理解 给定一个集合S={x1,x2,...xd},如果一个假设类H(hypothesis h ∈ H)能够实现集合S中所有元素的任意一种标记方式,则称H能够打散S。有了打散的定义,就得到VC维的定义:H的VC维表示能够被H打散的...
阅读全文
摘要:作者:何凯明等,来自微软亚洲研究院; 这篇文章为CVPR的最佳论文奖;(conference on computer vision and pattern recognition) 在神经网络中,常遇到的问题: 1. 当网络变深以后的 vanishing/exploding gradient 问题:
阅读全文
摘要:大致看了看这个paper, 很novel. 我的观点: 在traditional convolutional neural netwoks 中,我们通常会depend 于 extracting features. 而本paper把 hand-crafted 和 feature extraction 结合在了一起,用于处理 invariance of various inpu...
阅读全文
摘要:说实话,这篇paper看了很久,,到现在对里面的一些东西还不是很好的理解。 下面是我的理解,当同行看到的话,留言交流交流啊!!!!! 这篇文章的中心点:围绕着如何降低 internal covariate shift 进行的, 它的方法就是进行batch normalization。 interna
阅读全文
摘要:Network In Network 是13年的一篇paper 引用:Lin M, Chen Q, Yan S. Network in network[J]. arXiv preprint arXiv:1312.4400, 2013. 文章的新点: 1. 采用 mlpcon 的结构来代替 traditional 卷积层; 2. remove 卷积神经网络最后的 全连接层,采用 glob...
阅读全文
摘要:这一篇论文很不错,也很有价值;它重新思考了googLeNet的网络结构--Inception architecture,在此基础上提出了新的改进方法; 文章的一个主导目的就是:充分有效地利用computation; 第一部分: 文章提出了四个principles: 原则1:设计网络的时候需要避免 r
阅读全文
摘要:致网友:如果你不小心检索到了这篇文章,请不要看,因为很烂。写下来用于作为我的笔记。 2014年,在LSVRC14(large-Scale Visual Recognition Challenge)中,Google团队凭借 googLeNet 网络取得了 the new state of the art. 论文 Going deeper with convolutions 就是对应该网络发表的一...
阅读全文
摘要:这是一篇发表于2008年初的论文。 文章主要讲了利用 denosing autoencoder来学习 robust的中间特征。。进上步,说明,利用这个方法,可以初始化神经网络的权值。。这就相当于一种非监督学习的方法来训练神经网络。 当我们在用神经网络解决各种识别任务时,如果我们想要网络的性能更好,就需要更深层或更wider的神经网络来建模,Model出更复杂的分布。 网络变深以后,如何训练是...
阅读全文
摘要:D-S证据理论 可以用于特征融合,可以看看下面: http://blog.csdn.net/am45337908/article/details/48832947 http://blog.csdn.net/am45337908/article/details/48845395
阅读全文
摘要:这个论文应该算是把深度学习应用到图片识别(ILSVRC,ImageNet large-scale Visual Recognition Challenge)上的具有重大意义的一篇文章。因为在之前,人们一直质疑深度学习的强大有能力。 大家看看它的引用数目就知道它很厉害了,,9000多的引用。。 作者为:Hinton的学生与Hioton: Krizhevsky ASutskever IHinton...
阅读全文
摘要:本文作者为:Xavier Glorot与Yoshua Bengio。 本文干了点什么呢? 第一步:探索了不同的激活函数对网络的影响(包括:sigmoid函数,双曲正切函数和softsign y = x/(1+|x|) 函数)。 文中通过不断的实验:1,来monitor网络中隐藏单元的激活值来观察它的饱和性;2. 梯度。 并且evaluate 所选择的激活函数与初始化方法(预训练被看作一种特殊...
阅读全文
摘要:在该文章的两大创新点:一个是PReLU,一个是权值初始化的方法。下面我们分别一一来看。 PReLU(paramter ReLU) 所谓的PRelu,即在 ReLU激活函数的基础上加入了一个参数,看一个图就明白了: 右边的图上多了一个参数吧,在负半轴上不再为0,而是一个可以学习的斜率。 很容易明白。实验结果显示该方法可以提高识别率。 权值初始化的方法: 对于文中的权值初始化问题...
阅读全文
摘要:由Andrew Zisserman 教授主导的 VGG 的 ILSVRC 的大赛中的卷积神经网络取得了很好的成绩,这篇文章详细说明了网络相关事宜。 文章主要干了点什么事呢?它就是在在用卷积神经网络下,在采用小的卷积核与小的移动步长的情况下,探索一下网络的深度对目标识别率的影响。 网络的大体结构 网络的输入为224*224的RGB图片,后面跟卷积层,卷积核的大小基本都为3*3有最小的可以保留图片...
阅读全文
摘要:一点最重要的学习方法: 当你读一篇论文读不懂时,如果又读了两遍还是懵懵懂懂时怎么办???方法就是别自己死磕了,去百度一下,如果是很好的论文,大多数肯定已经有人读过并作为笔记了的,比如我现在就把我读过以后的收获记下来(我也看了好几篇前人的博文的)。。。百度没有去试试google吧。。。如何快速读懂读明白一篇文章也是一种能力,选择的方法往往大于努力的。 对于这篇论文,网上有很多写的好的总结,大家可...
阅读全文
摘要:总结一下文中几点值得学习的地方: 1,卷积神经网络的结构图:Multi-Scale Features. 因为它提取的特征的分层的,对吧,虽然最后 一层可以提供全局信息,但是呢,前面的几层可以提供更多的详细的细节。。前几层的需要pooling不,这个自己选择。 2,非线性问题:看文中吧,具体我自己也没有仔细研究。 3,对于样本的处理,有一个值得说的地方就是:文中用原始的样本构造了一...
阅读全文
摘要:本文以下内容来自读论文以后认为有价值的地方,论文来自:convolutional Neural Networks Applied to House Numbers Digit Classification 。 对于房门号的数字识别问题,文中提出的方法是基于卷积神经网络的,卷积神经网络集特征提取与目标分类于一体,这一点有别于传统的识别方法(传统方法中一般都是基于人工设计的特征提取器,然后把提取...
阅读全文
摘要:在视觉/图像识别中,一个关键问题就是:如何得到内在的特征表示(internal representation of feature).在传统的方法中,人们都是通过一个手工设计的特征提取器(hand crafted feature)来得到需要的特征,然后把特征输入给分类器. 而现在在解决的问题是: 一个系统如何能够自动学习到我们需要的特征。 (看到区别了吧,传统的方法是手工设计特征提取器,...
阅读全文
摘要:本文内容来自名为convolutional networks for images, speech, and time-series的论文 作者:Yann LeCun, Yoshua Bengio 由于BP网络在复杂、高维、非线性上强大的学习分类能力,被广泛应用于图像识别、语言识别等领域。在、在传统
阅读全文