摘要： 1.sgd 2.带动的sgd 3.AdaGrad -> RMSProp 4.Adam 5.L-BFGS 阅读全文

摘要： 1.Covariate Shift 当训练集的样本分布和测试集的样本分布不一致的时候，训练集训练得到的模型 不好繁华至测试集，这就是Covariate Shift问题。 需要根据目标样本的分支和训练样本的分布 的比例( P(x)/Q(x) ) 对训练样本做一个矫正。参考1 2 2.BN 深度网络中， 阅读全文