2018年12月14日
Batch Norm、Layer Norm、Weight Norm与SELU
摘要： 加速网络收敛——BN、LN、WN与selu 自Batch Norm出现之后，Layer Norm和Weight Norm作为Batch Norm的变体相继出现。最近又出来一个很”简单”的激活函数Selu，能够实现automatic rescale and shift。这些结构都是为了保证网络能够堆叠 阅读全文
posted @ 2018-12-14 14:14 Jerry_Jin 阅读(3909) 评论(0) 推荐(0) 编辑