上一页 1 2 3 4 5 6 7 ··· 12 下一页

2017年5月31日

正则化为什么能防止过拟合(重点地方标红了)

摘要: 正则化方法:防止过拟合,提高泛化能力 在训练数据不够多时,或者overtraining时,常常会导致overfitting(过拟合)。其直观的表现如下图所示,随着训练过程的进行,模型复杂度增加,在training data上的error渐渐减小,但是在验证集上的error却反而渐渐增大——因为训练出 阅读全文

posted @ 2017-05-31 07:51 alexanderkun 阅读(34979) 评论(6) 推荐(12) 编辑

2017年5月30日

1*1卷积核在GoogleLeNet中的作用

摘要: 1. 实现跨通道的交互和信息整合 1×1的卷积层(可能)引起人们的重视是在NIN的结构中,论文中林敏师兄的想法是利用MLP代替传统的线性卷积核,从而提高网络的表达能力。文中同时利用了跨通道pooling的角度解释,认为文中提出的MLP其实等价于在传统卷积核后面接cccp层,从而实现多个feature 阅读全文

posted @ 2017-05-30 17:27 alexanderkun 阅读(839) 评论(0) 推荐(0) 编辑

Network in Network 个人理解

摘要: 关键点是1*1的卷积是怎么用的,也就是MLP卷积。看如下的数据就可以理解了 输入为224*224*3的图像,第一层卷积为11*11*3*96(也就是96个11*11*3的卷积核,另外还有步长),卷积完后是54*54*96的数据,然后用1*1*96的卷积核进行卷积,得出54*54*96的数据,再利用1 阅读全文

posted @ 2017-05-30 16:17 alexanderkun 阅读(387) 评论(0) 推荐(0) 编辑

Network in Network 2

摘要: 《Network in Network》论文笔记 1.综述 这篇文章有两个很重要的观点: 1×1卷积的使用 文中提出使用mlpconv网络层替代传统的convolution层。mlp层实际上是卷积加传统的mlp(多层感知器),因为convolution是线性的,而mlp是非线性的,后者能够得到更高的 阅读全文

posted @ 2017-05-30 16:07 alexanderkun 阅读(432) 评论(0) 推荐(0) 编辑

Network in Network

摘要: 一、相关理论 本篇博文主要讲解2014年ICLR的一篇非常牛逼的paper:《Network In Network》,过去一年已经有了好几百的引用量,这篇paper改进了传统的CNN网络,采用了少量的参数就松松击败了Alexnet网络,Alexnet网络参数大小是230M,采用这篇paper的算法才 阅读全文

posted @ 2017-05-30 16:06 alexanderkun 阅读(460) 评论(0) 推荐(0) 编辑

2017年5月29日

利用 TFLearn 快速搭建经典深度学习模型

摘要: 利用 TFLearn 快速搭建经典深度学习模型 使用 TensorFlow 一个最大的好处是可以用各种运算符(Ops)灵活构建计算图,同时可以支持自定义运算符(见本公众号早期文章《TensorFlow 增加自定义运算符》)。由于运算符的粒度较小,在构建深度学习模型时,代码写出来比较冗长,比如实现卷积 阅读全文

posted @ 2017-05-29 16:54 alexanderkun 阅读(6154) 评论(0) 推荐(1) 编辑

AlexNet详解3

摘要: Reference. Krizhevsky A, Sutskever I, Hinton G E. ImageNet Classification with Deep Convolutional Neural Networks [J]. Advances in Neural Information 阅读全文

posted @ 2017-05-29 14:47 alexanderkun 阅读(14746) 评论(0) 推荐(0) 编辑

ReLU为什么比Sigmoid效果好

摘要: 附:双曲函数类似于常见的(也叫圆函数的)三角函数。基本双曲函数是双曲正弦"sinh",双曲余弦"cosh",从它们导出双曲正切"tanh" sigmod函数: Relu函数: 综合: @作者:约翰曰不约 为什么通常Relu比sigmoid和tanh强,有什么不同?主要是因为它们gradient特性不 阅读全文

posted @ 2017-05-29 14:42 alexanderkun 阅读(31906) 评论(0) 推荐(4) 编辑

AlexNet详解2

摘要: 此处以caffe官方提供的AlexNet为例. 目录: 1.背景 2.框架介绍 3.步骤详细说明 5.参考文献 背景: AlexNet是在2012年被发表的一个金典之作,并在当年取得了ImageNet最好成绩,也是在那年之后,更多的更深的神经网路被提出,比如优秀的vgg,GoogleLeNet. 其 阅读全文

posted @ 2017-05-29 14:26 alexanderkun 阅读(20273) 评论(0) 推荐(0) 编辑

AlexNet详解

摘要: 在imagenet上的图像分类challenge上Alex提出的alexnet网络结构模型赢得了2012届的冠军。要研究CNN类型DL网络模型在图像分类上的应用,就逃不开研究alexnet,这是CNN在图像分类上的经典模型(DL火起来之后)。 在DL开源实现caffe的model样例中,它也给出了a 阅读全文

posted @ 2017-05-29 14:25 alexanderkun 阅读(4195) 评论(0) 推荐(0) 编辑

上一页 1 2 3 4 5 6 7 ··· 12 下一页

导航