摘要：
首先明确的是self只有在类的方法中才会有，独立的函数或方法是不必带有self的。self在定义类的方法时是必须有的，虽然在调用时不必传入相应的参数。 __init__中self有一部分是从外面传来的参数，需要实例化时就传入 类中self带的参数相当于类的属性，没带的是局部变量，可能是类的局部变量， 阅读全文
摘要：
batch normalization是对每个batch的数据在每一层进行z-score标准化，z-score标准化相当于让数据符合标准正态分布 归一化： 1、把数变为（0，1）之间的小数主要是为了数据处理方便提出来的，把数据映射到0～1范围之内处理，更加便捷快速。2、把有量纲表达式变为无量纲表达式 阅读全文
摘要：
正态分布(Normal distribution)，又名高斯分布(Gaussian distribution)。若随机变量X服从一个数学期望为μ、方差为σ^2(标准差为σ)的正态分布，记为N(μ，σ^2)。其概率密度函数为正态分布的期望值μ决定了其位置，其标准差σ决定了分布的幅度。 当μ = 0,σ 阅读全文
摘要：
http://russellsstewart.com/notes/0.html https://zhuanlan.zhihu.com/p/20792837 阅读全文
摘要：
momentum对于w的更新公式： http://caffe.berkeleyvision.org/tutorial/solver.html 阅读全文
摘要：
自己写的更简洁的代码 考虑两种边界条件，没有左子树，没有右子树。 阅读全文
摘要：
关于anchor的问题：这里在详细解释一下:(1)首先按照尺度和长宽比生成9种anchor,这9个anchor的意思是conv5 feature map 3x3的滑窗对应原图区域的大小.这9个anchor对于任意输入的图像都是一样的，所以只需要计算一次. 既然大小对应关系有了，下一步就是中心点对应关 阅读全文
摘要：
想象一下，当mini-batch 是真个数据集的时候，是不是就退化成了 Gradient Descent，这样的话，反而收敛速度慢。你忽略了batch 增大导致的计算 batch 代价变大的问题。如果盲目增大mini-batch size 确实是迭代次数减少了，但是计算时间反而会增加，因为每次计算代 阅读全文
摘要：
工作过程：训练总样本个数是固定的，batch_size大小也是固定的，但组成一个mini_batch的样本可以从总样本中随机选择。将mini_batch中每个样本都经过前向传播和反向传播，求出每个样本在每一层每个神经元关于w和b的梯度。注意：同一个mini_batch中所有样本经过网络时，网络的参数 阅读全文
摘要：
https://zhuanlan.zhihu.com/p/23178423 从这个总结看的出来，用sgd时，是每个mini_batch更新一次dropout，并且前向和反向传播都是会在经过dropout处理后的神经元上进行。比如这一层有10个神经元，有5个神经元停止工作，那前向和反向都会在另外5个神 阅读全文