摘要：
什么是激活函数 概念 要了解什么是激活函数，首先要了解神经网络模型的基本工作原理。 所谓激活函数（Activation Function），就是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。信号从一个神经元进入，经过非线性的激活函数，传入到下一层神经元；再经过该层神经元的激活， 阅读全文
摘要：
预处理与权重初始化之间的关系 如果做过DNN的实验，大家可能会发现在对数据进行预处理，例如白化或者z-score，甚至是简单的减均值操作都是可以加速收敛的，例如下图所示的一个简单的例子： 图中红点均代表二维的数据点，由于图像数据的每一维一般都是$0~255$之间的数字，因此数据点只会落在第一象限，而 阅读全文
摘要：
本文主要是对知乎、CSDN平台上BN相关文章的转载、整理与汇总，记录以方便自己日后的复习巩固，并分享给同样渴望知识的你们。 主体来自知乎soplars理解Batch Normalization系列文章，感谢作者的耕耘！ 一图解释BN作用： 简单粗暴地说，BN就是按批次对网络输出的数据分布先进行一个标 阅读全文