变分自编码器VAE的由来和简单实现(PyTorch)
之前经常遇到变分自编码器的概念(\(VAE\)),但是自己对于这个概念总是模模糊糊，今天就系统的对\(VAE\)进行一些整理和回顾。
VAE的由来
假设有一个目标数据\(X=\{X_1,X_2,\cdots,X_n\}\),我们想生成一些数据，即生成\(\hat{X}=\{\hat{X_1},\hat{X_2},\cdots,\hat{X_n}\}\),其分布与\(X\)相同。
但是实际上，这样存在一些问题，第一是我们如何将生成的\(\hat{X}\)与\(X\)一一对应，这就需要我们采用更为精巧的度量方式，即如何度量两个分布之间的距离；第二是我们如何生成新的\(\hat{X}\),按照朴素的想法，我们可以构造一个函数\(G\)，使得\(\hat{X}=G(Z)\) ,如果能构造出这个\(G\),我们就可以通过一个任意的\(Z\),来生成\(\hat{X}\) ,而这里的\(Z\),可以取一个已知的分布，比如正态分布。
目前的问题
目前的问题转化为了如何构造\(G\),以及如何检验我们生成的\(\hat{X}\)是否和\(X\)具有同分布。在\(GAN\)中，这里的\(G\)和分布的相似度衡量都用神经网络搞定了，一个叫做\(generator\),一个叫做\(discriminator\),这二者互相拮抗，最终使得分布越来接近。
而在我们目前的问题中，\(VAE\)提供了另外一种思路，沿着AutoEncoder的想法，AutoEncoder是通过\(encoder\)把image \(a\)编码为vector，叫做\(latent{\ }represention\) ,再通过\(decoder\)将\(latent{\ }space\)转为\(\hat{a}\) ,\(\hat{a}\)为\(a\)的重建图像。
但是AE针对每张图片生成的\(latent{\ }code\)并没有可解释性，即sample两个\(latent{\ } code\)之间的点输入\(decoder\),得到的结果并不一定具有跟这两个\(latent code\)相关的特征。为了解决这个问题，提出了VAE：不再采用vector来建模一个\(latent{\ }code\),而是利用一个带有noise的高斯分布来表示。直观的理解，在加入noise之后，就有机会将训练时候train的\(latent{\ }code\)在其latent space下赋予一定的变化能力，使latent space变得更加连续，从而可以在其中采样从而生成新的图片。
我们之前生成的\(Z=\{Z_1,Z_2,\cdots,Z_n\}\),现在不再单单生成一个\(Z\),而是生成两个vector，分别记为\(M=\{{\mu_1},{\mu_2},\cdots\,{\mu_n}\}\),\(\Sigma=\{ {\sigma_1},{\sigma_2},\cdots,\sigma_n\}\),分别代表新生成latent code的高斯分布的均值和方差。在sample的时候就只需要根据从标准正态分布\(\mathcal{N}(0,1)\)中采样一个\(e_i\),\(e_i\)来自于\(E=\{e_1,e_2,\cdots,e_n\}\),然后利用\(c_i=e_i*exp({\sigma_i})+\mu_i\)(\(reparameterization{\ }trick\))，就得到了我们所需的\(c_i\) ，\(c_i\)即组成我们需要的\(Z\)=\(\{c_1,c_2,\cdots,c_n\}\)。
这里一方面希望\(VAE\)能够生成尽可能丰富的数据，因此训练的时候希望在高斯分布中含有噪声。另一方面优化的过程中会趋向于使图像质量更好，因此当噪声为0的时候退化为普通的\(AutoEncoder\)，这种情况我们是不希望出现的。为了平衡这种trade-off，这里希望每个\(p(Z|X)\)能够接近标准正态分布，但是另一方面网络又趋于使输入和输出图像更为接近，因此会使正态分布的方差向0的方向优化。经过这种对抗过程，最终就能产生具有一定可解释性的\(decoder\),同时最终得到的\(Z\)的分布也会趋向于\(\mathcal{N}(0,1)\)，可以表示为：
$$p(Z)=\sum_{X} p(Z \mid X) p(X)=\sum_{X} \mathcal{N}(0, 1) p(X)=\mathcal{N}(0, I) \sum_{X} p(X)=\mathcal{N}(0, 1)$$
class VAE(nn.Module):
def __init__(self):
super(VAE, self).__init__()
self.fc1 = nn.Linear(784, 400)
self.fc21 = nn.Linear(400, 20)
self.fc22 = nn.Linear(400, 20)
self.fc3 = nn.Linear(20, 400)
self.fc4 = nn.Linear(400, 784)
def encode(self, x):
h1 = F.relu(self.fc1(x))
return self.fc21(h1), self.fc22(h1)
def reparameterize(self, mu, logvar):
std = torch.exp(0.5*logvar)
eps = torch.randn_like(std)
return mu + eps*std
def decode(self, z):
h3 = F.relu(self.fc3(z))
return torch.sigmoid(self.fc4(h3))
def forward(self, x):
mu, logvar = self.encode(x.view(-1, 784))
z = self.reparameterize(mu, logvar)
return self.decode(z), mu, logvar
def loss_function_original(recon_x, x, mu, logvar):
BCE = F.binary_cross_entropy(recon_x, x.view(-1, 784), reduction='sum')
KLD = -0.5 * torch.sum(1 + logvar - mu.pow(2) - logvar.exp())
return BCE + KLD
这里的loss由两部分组成，一部分是重建loss，一部分是使各个高斯分布趋近于标准高斯分布的loss(由KL散度推导得到)。
