摘要： 概述 贝叶斯神经网络是一类神经网络模型，模型的参数不是固定的值，而是分布，如$(图1)$所示。这样设置，我们就能够对数据和模型的不确定性（uncertainty）进行评估。例如有一个函数$f(x)=y$，当函数$f$确定时，输入$x$能得到唯一确定的y，如果我们调整$f$，得到的$y$就会发生变化。 阅读全文

摘要： 引言 前面三篇文章介绍了变分推断（variational inference），这篇文章将要介绍变分自编码器，但是在介绍变分自编码器前，我们先来了解一下传统的自编码器。 自编码器 自编码器（autoencoder）属于无监督学习模型（unsupervised learning），更严格地说属于自监督 阅读全文

摘要： SVI变分推断的前两篇介绍了变分推断的构造方法、目标函数以及优化算法CAVI，同时上一篇末尾提到，CAVI并不适用于大规模的数据的情况，而这一篇将要介绍一种随机优化（stochastic optimization）的方法。这种优化方法与随机梯度下降（Stochastic Gradient Desce 阅读全文

摘要： 贝叶斯推断由上一篇我们已经了解到，对于未知的分布或者难以计算的问题，我们可以通过变分推断将其转换为简单的可计算的问题来求解。现在我们贝叶斯统计的角度，来看一个难以准确计算的案例。 推断问题可以理解为计算条件概率$p(y|x)$。利用贝叶斯定理，可以将计算条件概率（或者说后验概率，posterior） 阅读全文

摘要： 引言GAN专题介绍了GAN的原理以及一些变种，这次打算介绍另一个重要的生成模型——变分自编码器（Variational AutoEncoder，VAE）。但在介绍编码器之前，这里会先花一点时间介绍变分推断（Variational Inference，VI），而这一小系列最后还会介绍贝叶斯神经网络—— 阅读全文

摘要： 模型结构在第三篇我们了解了InfoGan、cGAN和CycleGAN这三类GAN模型，并且我们注意到在不同的GAN中，生成器和判别器内部使用的模型各式各样。这一篇我们来看看GAN内部使用的模型，以及GAN的一些特殊的组织方式。 DCGAN原生的GAN中，生成器和判别器采用的都是MLP（Mutli-L 阅读全文

摘要： 应用案例前面两篇介绍了GAN的基础理论，以及对目标函数的优化的一些尝试，现在我们先来了解一下GAN具体使用情况，从而对GAN有一个更直观的认识。 InfoGANInfoGAN是在GAN的框架下，通过引入信息论的方法，引导模型学习数据的解耦表征（disentangled features）的模型。得到 阅读全文

摘要： 目标函数的优化 在第一篇我们了解到，原生的GAN采用零和博弈（zero-sum game）的策略，这会导致在训练初期生成器的临梯度消失（gradient vanishing），训练停止。如果将零和博弈改为非饱和博弈，这虽然能够解决梯度消失的问题，但会导致训练不稳定（instable）。为了解决这两个 阅读全文

摘要： 概述GAN（Generative Adversarial Network，生成对抗网络）是一个网络框架，它通常包括两部分，生成器（generator）和判别器（discriminator）。生成器的作用是学习真实数据的分布（或者通俗地说就是学习真实数据的特征），然后自动地生成新的数据——所以GAN实 阅读全文