Deep learning中的Auto encoder解读

一、深度学习架构中权重（weight）的物理意义

　　权重的学习可解释为如何对原始资料的信息进行特征转换，亦可理解为编码学习。

　　好的权重的特点，能够较好的保存原始资料的特征，并且能够较轻易的重建原始资料。

 

二、Information-Preserving Neural Network 

1、将原始资料进行encoder，即下图中左半部分；右半部分称之为decoder。autoencoder实际上是在做对原始资料的一个恒等近似。

 

 

2、autoencoder方法可能的一些优势

（1）用于supervised learning可作为特征转换的手段

　　在观察到的数据上能探测到一些潜藏的structures，可以用于深度神经网络的pre-training部分，得到较好的初始的权重。、

（2）用于unsupervised learning

　　density estimation和离群点检测

（3）学习数据的典型表示

 

三、降噪自编码器（denoising autoencoder ）

1、出发点

　　对原始数据加入噪声，学习一个对加噪的数据具有去噪的autoencoder，如此学习到的权重在深度神经网络模型的训练中具有较好的性质。

犹如给autoencoder加上了“筛子”。