2020年8月3日
激活函数综述
摘要： 前言 激活函数，是神经网络中实现非线性计算的关键，再深的线性神经网络，本质上都和单步线性计算等价。所以，激活函数这个非线性单元是神经网络化腐朽为神奇的关键。 激活函数的要求： 计算简单，特别是导函数计算简单 连续可导（允许在若干个点上不可导） 值域合理，这样可以尽量使得不同网络层的输入和输出数据相似 阅读全文
posted @ 2020-08-03 00:19 YoungF 阅读(819) 评论(0) 推荐(0) 编辑