摘要：
batch normalization是对每个batch的数据在每一层进行z-score标准化，z-score标准化相当于让数据符合标准正态分布 归一化： 1、把数变为（0，1）之间的小数主要是为了数据处理方便提出来的，把数据映射到0～1范围之内处理，更加便捷快速。2、把有量纲表达式变为无量纲表达式 阅读全文
摘要：
正态分布(Normal distribution)，又名高斯分布(Gaussian distribution)。若随机变量X服从一个数学期望为μ、方差为σ^2(标准差为σ)的正态分布，记为N(μ，σ^2)。其概率密度函数为正态分布的期望值μ决定了其位置，其标准差σ决定了分布的幅度。 当μ = 0,σ 阅读全文
摘要：
http://russellsstewart.com/notes/0.html https://zhuanlan.zhihu.com/p/20792837 阅读全文
摘要：
momentum对于w的更新公式： http://caffe.berkeleyvision.org/tutorial/solver.html 阅读全文