变分编码器（VAE）学习指南

推荐阅读材料

1. 《Tutorial on Variational Autoencoders》
   这篇在谷歌上即可搜到，可以说是很详细的解释了VAE涉及的数学知识。
2. 变分自编码器VAE：原来是这么一回事 | 附开源代码
   这篇，则用十分直白的白话尝试去理解了VAE设计的思路。

---

两篇文章应该能解决我们对于VAE的大部分疑惑，如果此前没有了解过VAE是什么，那么可以在看这两篇材料前随便读些博客的内容，能有个一知半解的状态就足以进行接下来的阅读了。

如果你也在看完整两篇材料后对于VAE的某些规定仍有疑惑，可以尝试阅读我下面的内容，希望能起到作用。

---

为什么VAE要假设是标准正态分布？

不知道大家在阅读的参考材料2的时候，会不会产生这个疑惑，为什么要让生成的均值接近0，而方差接近1。

确实对于方差还好理解，因为方差是采样时给均值加的一个噪声，这个噪声的大小描述了：对于给定样本，它的隐变量周围正负方差范围内的的邻居通过还原，都能产生这个样本。
对于这个范围，总是要有个规定，既然如此，不妨规定为1好了。

但是对于均值，该怎么解释呢？如果所有样本的均值都一样，然后他们方差又差不多，那岂不是说很有可能，解码器（生成器）接受了同一个隐变量，却被有时被要求生成数字7，有时被要求生成数字1？

---

我这里不妨给出一个解释：正因为上面这个问题，即要让生成器能够还原输入，所以均值说是要接近0，但却永远不会接近0。那么要求它尽可能接近0的意义是什么呢？意义是，大家的均值尽量挨在一起，在通过方差（噪声）能够若有若无接近彼此时最好了。比如，数字1的均值加上它的方差，刚好就等于数字2的均值，这样隐变量到达每个数字的均值时，可以准确描绘出该数字；隐变量落在两个不同数字的均值之间时，又能够产生一种渐变的效果，解决了传统编码器的问题。

当然上述只是我最粗浅，妄图说服自己的一个理由。如果大家有更好的解释，请务必务必留言一下。