2023年8月28日
Dynamic ReLU：根据输入动态确定的ReLU
摘要： 这是我最近才看到的一篇论文，它提出了动态ReLU (Dynamic ReLU, DY-ReLU)，可以将全局上下文编码为超函数，并相应地调整分段线性激活函数。与传统的ReLU相比，DY-ReLU的额外计算成本可以忽略不计，但表示能力明显增强，并且实现简单，所以可以非常简单的对我们现有的模型进行修改。 阅读全文
posted @ 2023-08-28 09:19 deephub 阅读(9) 评论(0) 推荐(0) 编辑