论文笔记(3)-Extracting and Composing Robust Features with Denoising Autoencoders

    这篇文章是Bengio研究的在传统的autoencoder基础上增加了噪声参数,也就是说在输入X的时候,并不直接用X的数据,而是按照一定的概率来清空输入为0。paper中的名词为corrupted。这样活动函数计算的时候就用这个X尖来计算,而不是用X来计算。然后算法通过reconstruct来根据计算的Y来重构求X。

    如下图所示,这种思路十分类似于dropout。不过dropout是在隐层做trike,而这个算法是选择性忽略输入的数据。

 

posted on 2014-01-29 21:12  alexanderkun  阅读(1805)  评论(0编辑  收藏  举报

导航