摘要：
想象一下，当mini-batch 是真个数据集的时候，是不是就退化成了 Gradient Descent，这样的话，反而收敛速度慢。你忽略了batch 增大导致的计算 batch 代价变大的问题。如果盲目增大mini-batch size 确实是迭代次数减少了，但是计算时间反而会增加，因为每次计算代 阅读全文
摘要：
工作过程：训练总样本个数是固定的，batch_size大小也是固定的，但组成一个mini_batch的样本可以从总样本中随机选择。将mini_batch中每个样本都经过前向传播和反向传播，求出每个样本在每一层每个神经元关于w和b的梯度。注意：同一个mini_batch中所有样本经过网络时，网络的参数 阅读全文
摘要：
https://zhuanlan.zhihu.com/p/23178423 从这个总结看的出来，用sgd时，是每个mini_batch更新一次dropout，并且前向和反向传播都是会在经过dropout处理后的神经元上进行。比如这一层有10个神经元，有5个神经元停止工作，那前向和反向都会在另外5个神 阅读全文
摘要：
http://blog.csdn.net/zhikangfu/article/details/51252692 https://www.52ml.net/2734.html sift特征检测步骤： 1.尺度空间的极值检测 2.特征点定位 3.特征方向赋值 4.特征点描述 尺度空间： 在图像信息处理模 阅读全文
摘要：
通过计算和统计图像局部区域的梯度直方图来构成特征，先计算图片某一区域中不同方向上梯度的值，然后进行累积，得到直方图，这个直方图呢，就可以代表这块区域了，也就是作为特征，可以输入到分类器里面了。 方向梯度直方图（Histogram of Oriented Gradient, HOG）特征是一种在计算机 阅读全文