摘要： 激活函数就是在激活函数之前没有输出 z>0 才会有输出 激活函数不可导 于是提出了sigmoid函数 sigmoid函数是连续光滑的 且范围为0~1 和概率正好吻合 可以压缩很多的值 但是x在-∞和∞的时候倒数为0 因此当值处于这个区间的时候，loss长时间不变 Tanh激活函数 relu激活函数 阅读全文