激活函数就是在激活函数之前没有输出
z>0 才会有输出
激活函数不可导 于是提出了sigmoid函数
sigmoid函数是连续光滑的 且范围为0~1 和概率正好吻合 可以压缩很多的值
但是x在-∞和∞的时候倒数为0 因此当值处于这个区间的时候，loss长时间不变
Tanh激活函数
relu激活函数
目前深度学习使用的最多的激活函数 因为梯度不变 可以减少梯度离散的情况
