摘要：在之前的一篇博客中[L1正则化及其推导](http://www.cnblogs.com/heguanyou/p/7582578.html)推导证明了L1正则化是如何使参数稀疏化人，并且提到过L1正则化如果从贝叶斯的观点看来是Laplace先验，事实上如果从贝叶斯的观点，所有的正则化都是来自于对参数分布的先验。现在来看一下为什么Laplace先验会导出L1正则化，也顺便证明Gauss（高斯）先验会导出L2正则化。 阅读全文

摘要：生成式对抗网络（Generative Adversarial Network，简称GAN）由一个生成网络与一个判别网络组成。生成网络从潜在空间（latent space）中随机采样作为输入，其输出结果需要尽量模仿训练集中的真实样本。判别网络的输入则为真实样本或生成网络的输出，其目的是将生成网络的输出从真实样本中尽可能分辨出来。而生成网络则要尽可能地欺骗判别网络。两个网络相互对抗、不断调整参数，最终目的是使判别网络无法判断生成网络的输出结果是否真实。从数据的分布来看就是使得生成的数据分布$P_z(z)$与原来的数据$P_{data}(x)$十分接近，理想的情况下为$P_z(z)=P_{data}(x)$。本文给出了GAN的Loss函数、说明GAN的训练原理，再结合最简单的例子mnist，用MXNet来实现GAN。 阅读全文