摘要：
一、前述 本文讲述池化层和经典神经网络中的架构模型。 二、池化Pooling 1、目标 降采样subsample，shrink（浓缩），减少计算负荷，减少内存使用，参数数量减少（也可防止过拟合）减少输入图片大小（降低了图片的质量）也使得神经网络可以经受一点图片平移，不受位置的影响（池化后相当于把图片 阅读全文
摘要：
一、前述 Convolutional neural networks 视觉皮层、感受野，一些神经元看线，一些神经元看线的方向，一些神经元有更大的感受野，组合底层的图案1998年Yann LeCun等人推出了LeNet-5架构，广泛用于手写体数字识别，包含全连接层和sigmoid激活函数，还有卷积层和 阅读全文
摘要：
一、前述 在梯度下降中，随着算法反向反馈到前面几层，梯度会越来越小，最终，没有变化，这时或许还没有收敛到比较好的解，这就是梯度消失问题，深度学习遭受不稳定的梯度，不同层学习在不同的速度上 二、解决梯度弥散和消失方法一，初始化权重使用he_initialization 1、举例 如果我们看逻辑激活函数 阅读全文
摘要：
一、前述 上一篇讲述了神经网络中的调优实现，本文继续讲解。 二、L1，L2正则防止过拟合 使用L1和L2正则去限制神经网络连接的weights权重，限制更小 1、对于一层时可以定义如下： 一种方式去使用TensorFlow做正则是加合适的正则项到损失函数，当一层的时候，可以如下定义： 2、对于多层时 阅读全文
摘要：
一、前述 调优对于模型训练速度，准确率方面至关重要，所以本文对神经网络中的调优做一个总结。 二、神经网络超参数调优 1、适当调整隐藏层数对于许多问题，你可以开始只用一个隐藏层，就可以获得不错的结果，比如对于复杂的问题我们可以在隐藏层上使用足够多的神经元就行了， 很长一段时间人们满足了就没有去探索深度 阅读全文
摘要：
一、前述 ANN人工神经网络有两个或两个以上隐藏层，称为DNN 只有一个隐藏层是多层感知机 没有隐藏层是感知机 二、反向传播应用举例 举例： 正向传播，反向传播是一次迭代， 正向传播：在开始的每一层上都有一个参数值w，初始的时候是随机的,前向带入的是每一个样本值。 反向传播：然后反过来求所有的梯度值 阅读全文
摘要：
一、前述 本文讲述用Tensorflow框架实现SoftMax模型识别手写数字集，来实现多分类。 同时对模型的保存和恢复做下示例。 二、具体原理 代码一：实现代码 代码二：保存模型 代码三：恢复模型 阅读全文