2020年1月11日
大幅减少GPU显存占用：可逆残差网络(The Reversible Residual Network)
摘要： 前序： Google AI最新出品的论文Reformer 在ICLR 2020会议上获得高分，论文中对当前暴热的Transformer做两点革新：一个是局部敏感哈希(LSH)；一个是可逆残差网络代替标准残差网络。本文主要介绍变革的第二部分，可逆残差网络。先从神经网络的反向传播讲起，然后是标准残差网络 阅读全文
posted @ 2020-01-11 22:21 光彩照人 阅读(5374) 评论(0) 推荐(1) 编辑