2021年8月2日

激活函数学习

摘要： 常用的激活函数： 1.sigmoid $f\left( z \right)=1/ \left( 1+e^{-z} \right)$. 将输入的连续实值变换为(0,1)，缺点在于深度网络时，梯度反向传递时导致梯度爆炸和梯度消失，梯度消失概率较大，爆炸概率较低。例如，如果初始化的权值是[0,1]之间的值 阅读全文

posted @ 2021-08-02 07:54 小句芒 阅读(58) 评论(0) 推荐(0) 编辑

导航