摘要：
上一篇文章介绍了激活函数的作用，就想一并整理一下深度学习领域中常见的激活函数。在深度学习中，常见的激活函数有三种：sigmoid函数，tanh函数，ReLU函数。我们可以在LSTM网络中同时见到tanh函数和sigmoid函数，ReLU函数对于CNN则是不可缺少的。 下面分别进行介绍。 1.sigm 阅读全文
摘要：
实验室正在弄一个项目，在读有关论文的时候就发现一个令我疑惑的点：在论文里反复强调了激活函数(又叫做活化函数)的重要性。这让我很迷惑，因为在我当前的认知里，激活函数是一类相当简单的函数，比如relu函数:$f(x)=\max(0,x)$，只是一个分段线性的函数啊，为什么会有如此重要的意义？带着疑问找到 阅读全文