fuxuyun

摘要： 本文首先回顾了一些传统的激活函数和注意力机制，然后解读了一种“注意力机制下的新型ReLU激活函数”，也就是自适应参数化修正线性单元（Adaptively Parametric Rectifier Linear Unit，APReLU）。 1. 激活函数 激活函数是现代人工神经网络的核心部分，其用处是 阅读全文

摘要： 深度残差收缩网络是一种致力于从强噪声数据中学习特征的深度学习方法，是由“深度残差网络”和“收缩”两个部分组成的。 一方面，“深度残差网络”目前已经成为了深度学习领域的基础网络。 另一方面，“收缩”指的是软阈值化，是许多信号降噪算法的关键步骤。 更重要地，在深度残差收缩网络中，软阈值化所需要的阈值，实 阅读全文