2015 年 3月 10 日随笔档案 - 蓝色泡泡兔

2015年3月10日

Deep Learning 论文笔记 (2): Neural network regularization via robust weight factorization

摘要： under review as a conference paper at ICLR 2015.Motivation：本文提出来一种regularization的方法，叫做FaMe (Factored Mean training). The proposed FaMe model aims to a... 阅读全文

posted @ 2015-03-10 17:56 蓝色泡泡兔阅读(644) 评论(0) 推荐(0) 编辑

Deep Learning 论文笔记 (1): Making dropout invariant to transformations of activation functions and inputs

摘要：这是2014年nips workshop的一篇paper。这个paper号称他们提出了invariant dropout，可以对inputs和activation units的additive shift transform（我理解的其实就是加additive noise）具有不变性。通常如果在每一... 阅读全文

posted @ 2015-03-10 15:32 蓝色泡泡兔阅读(481) 评论(0) 推荐(0) 编辑