摘要: 1.概念 激活函数的主要作用是提供网络的非线性建模能力。如果没有激活函数,那么该网络仅能够表达线性映射,此时即便有再多的隐藏层,其整个网络跟单层神经网络也是等价的。因此也可以认为,只有加入了激活函数之后,深度神经网络才具备了分层的非线性映射学习能力。 2.特性 可微性: 当优化方法是基于梯度的时候, 阅读全文
posted @ 2020-04-02 13:17 leon-chan 阅读(3313) 评论(0) 推荐(0) 编辑