“注意力机制”结合“ReLU激活函数”:自适应参数化ReLU激活函数
摘要:
本文首先回顾了一些传统的激活函数和注意力机制,然后解读了一种“注意力机制下的新型ReLU激活函数”,也就是自适应参数化修正线性单元(Adaptively Parametric Rectifier Linear Unit,APReLU)。 1. 激活函数 激活函数是现代人工神经网络的核心部分,其用处是 阅读全文
posted @ 2020-03-12 20:08 fuxuyun 阅读(360) 评论(0) 推荐(0) 编辑