摘要：
一、Internal Covariate Shift 论文提出BN是用来解决“Internal Covariate Shift”问题的。如果输入数据经常变换，那么网络模型很难学到泛化的特征。对于深度学习这种包含很多隐层的网络结构，在训练过程中，因为各层参数不停在变化，所以每个隐层都会面临covari 阅读全文
摘要：
1. 平方损失函数 L2范数损失函数，也被称为最小平方误差（LSE）。它是把目标值$y_i$与估计值$f(x_i)$的差值的平方和最小化。一般回归问题会使用此损失，离群点对次损失影响较大。 $L=\sum_{i=1}^n(y_i−f(x_i))^2$ 2.交叉熵损失函数 分类问题因为输出的是概率，故 阅读全文