摘要：
GAN回顾 Martin 称这个loss为original cost function（参见[1] 2.2.1章节），而实际操作中采用的loss为the –log D cost（参见[1] 2.2.2章节）。 GAN存在的问题：初探 当固定G时，训练D直到收敛，可以发现D的loss会越来越小，趋于0 阅读全文
摘要：
损失函数（loss function）是用来估量模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值函数,通常使用L(Y, f(x))来表示，损失函数越小，模型的鲁棒性就越好。损失函数是经验风险函数的核心部分，也是结构风险函数重要组成部分。模型的结构风险函数包括了经验风险项和正则项，通常可以 阅读全文
摘要：
交叉熵（cross entropy）是深度学习中常用的一个概念，一般用来求目标与预测值之间的差距。以前做一些分类问题的时候，没有过多的注意，直接调用现成的库，用起来也比较方便。最近开始研究起对抗生成网络（GANs），用到了交叉熵，发现自己对交叉熵的理解有些模糊，不够深入。遂花了几天的时间从头梳理了一 阅读全文