摘要： 正则化方法：防止过拟合，提高泛化能力 在训练数据不够多时，或者overtraining时，常常会导致overfitting（过拟合）。其直观的表现如下图所示，随着训练过程的进行，模型复杂度增加，在training data上的error渐渐减小，但是在验证集上的error却反而渐渐增大——因为训练出 阅读全文

摘要： 1. 实现跨通道的交互和信息整合 1×1的卷积层（可能）引起人们的重视是在NIN的结构中，论文中林敏师兄的想法是利用MLP代替传统的线性卷积核，从而提高网络的表达能力。文中同时利用了跨通道pooling的角度解释，认为文中提出的MLP其实等价于在传统卷积核后面接cccp层，从而实现多个feature 阅读全文

摘要： 关键点是1*1的卷积是怎么用的，也就是MLP卷积。看如下的数据就可以理解了 输入为224*224*3的图像，第一层卷积为11*11*3*96（也就是96个11*11*3的卷积核，另外还有步长），卷积完后是54*54*96的数据，然后用1*1*96的卷积核进行卷积，得出54*54*96的数据，再利用1 阅读全文

摘要： 《Network in Network》论文笔记 1.综述 这篇文章有两个很重要的观点： 1×1卷积的使用 文中提出使用mlpconv网络层替代传统的convolution层。mlp层实际上是卷积加传统的mlp（多层感知器），因为convolution是线性的，而mlp是非线性的，后者能够得到更高的 阅读全文

摘要： 一、相关理论 本篇博文主要讲解2014年ICLR的一篇非常牛逼的paper：《Network In Network》，过去一年已经有了好几百的引用量，这篇paper改进了传统的CNN网络，采用了少量的参数就松松击败了Alexnet网络，Alexnet网络参数大小是230M，采用这篇paper的算法才 阅读全文

摘要： 利用 TFLearn 快速搭建经典深度学习模型 使用 TensorFlow 一个最大的好处是可以用各种运算符（Ops）灵活构建计算图，同时可以支持自定义运算符（见本公众号早期文章《TensorFlow 增加自定义运算符》）。由于运算符的粒度较小，在构建深度学习模型时，代码写出来比较冗长，比如实现卷积 阅读全文

摘要： Reference. Krizhevsky A, Sutskever I, Hinton G E. ImageNet Classification with Deep Convolutional Neural Networks [J]. Advances in Neural Information 阅读全文

摘要： 附：双曲函数类似于常见的(也叫圆函数的)三角函数。基本双曲函数是双曲正弦"sinh"，双曲余弦"cosh"，从它们导出双曲正切"tanh" sigmod函数： Relu函数： 综合： @作者：约翰曰不约 为什么通常Relu比sigmoid和tanh强，有什么不同？主要是因为它们gradient特性不 阅读全文

摘要： 此处以caffe官方提供的AlexNet为例. 目录： 1.背景 2.框架介绍 3.步骤详细说明 5.参考文献 背景： AlexNet是在2012年被发表的一个金典之作，并在当年取得了ImageNet最好成绩，也是在那年之后，更多的更深的神经网路被提出，比如优秀的vgg,GoogleLeNet. 其 阅读全文

摘要： 在imagenet上的图像分类challenge上Alex提出的alexnet网络结构模型赢得了2012届的冠军。要研究CNN类型DL网络模型在图像分类上的应用，就逃不开研究alexnet，这是CNN在图像分类上的经典模型（DL火起来之后）。 在DL开源实现caffe的model样例中，它也给出了a 阅读全文