摘要： 过滤器的个数一般逐层递增，卷积层过滤器的边长一般为3或者5，步长一般为1，但是也有2或者3的，池化层过滤器边长一般为2或者3，步长一般也为2或者3. 阅读全文

摘要： 提供的训练数据和定义的模型之间的维度不对应。 在MNIST手写数字识别时，在 中，没有加关键字参数one_hot=True 应该为： 阅读全文

摘要： tf.nn.sparse_softmax_cross_entropy_with_logits() 当正确结果只有一个时，可以加速计算，比如MNIST数字识别，每张图片中仅包含一个数字，所以可以使用这个函数加速计算，并且在使用时前向传播的计算结果不需要计算softmax。 cross_entropy 阅读全文

摘要： tensorflow使用tf.train.ExponentialMovingAverage实现滑动平均模型，在使用随机梯度下降方法训练神经网络时候，使用这个模型可以增强模型的鲁棒性（robust），可以在一定程度上提高模型在测试数据集上的表现。 滑动平均模型为每个变量维护一个影子变量，其初始值是变量 阅读全文

摘要： 1. 全连接神经网络参数太多，参数过多除了导致计算速度减慢，还会导致过拟合。 2. 卷积神经网络共享参数能够识别图像的平移等变换，相当于加了一个先验。 3. 池化层具有防止过拟合的作用。 阅读全文

摘要： 一、正则化 正则化的思想就是在损失函数中加入刻画模型复杂度的指标，若损失函数为J(θ )，在求全局最优解时不是直接优化J(θ )，而是优化J(θ ) + λR(w)，其中R(w)用于刻画模型的复杂程度，λ表示模型复杂程度在总损失中所占的比例。通常模型复杂程度只由权重项决定，常用的刻画模型复杂度的函数 阅读全文

摘要： 在使用梯度下降最小化损失函数时，如果学习率过大会导致问题不能收敛到最优解，学习率过小，虽然可以收敛到最优解，但是需要的迭代次数会大大增加，在Tensorflow中，可以用指数衰减法设置学习率，tf.train.exponential_decay()函数会指数级地减小学习率，这样可以让模型在前期快速接 阅读全文

摘要： http://blog.csdn.net/u012091092/article/details/53377607 阅读全文

摘要： linspace(start, end, num_of_points), 区间 [start, end]，产生一个等差数列，差为：(end-start)/(num_of_point-1)。 arange(start, end, step), 区间 [start, end)，产生一个差为step的等差 阅读全文

摘要： 1.删除一行之前或一行之后的所有行 v；gg；d :1,9d kdgg dgg # delete all lines before a line v；G；d :9,$d jdG dG # delete all lines after a line 解释一下: 第一项：先选择后删除； 第二项：d删除多 阅读全文