摘要: Swish: A self-gated Active Function 在深度网络中,激活函数的选择,对训练网络和网络性能有着很重要的影响。目前使用的最多的是Relu(Rectified Linear Unit), 本文提出了一种新的激活函数,Swish,f(x) = x * sigmoid(x), 阅读全文
posted @ 2017-10-27 16:33 zhang--yd 阅读(1359) 评论(0) 推荐(0) 编辑