梯度消失

产生原因

激活函数采用sigmod或双曲正切函数时输入过大或则过小会导致其梯度接近于0

解决方案

• 采用Relu函数
• 输入数据归一化(批归一化)是所有输入数据落在梯度不为0的区间
• 合适的权值初始化策略