随笔分类 - 机器学习
摘要:参考《ML Lecture 7: Backpropagation》: 假设一个比较简单的网络结构如下: 我们取其中一部分做详细的分析: 对于一个输入 ,它能计算出对应的 loss ,我们如果想要更新参数 $\theta = \{w_1, w_2, \
阅读全文
摘要:这篇笔记基于上一篇《关于GAN的一些笔记》。 1 GAN的缺陷 由于 和 它们实际上是 high-dim space 中的 low-dim manifold,因此 和 之间几乎是没有重叠的 正如我们之前说的,如果两个分布
阅读全文
摘要:目录 1 Divergence 1.1 Kullback–Leibler divergence 1.2 Jensen–Shannon divergence 1.3 Wasserstein distance 2 GAN 2.1 Theory 2.2 Algorithm Objective functi
阅读全文
摘要:最近正在阅读CVPR2019的论文Deep High-Resolution Representation Learning for Human Pose Estimation。 无奈看论文中的Network instantiation部分太过简略,在网上也没有搜索到一个非常清晰的图示。 我阅读这篇论
阅读全文
摘要:1 关于人工智能、机器学习等各类名词的关系 可以看到,深度学习是机器学习的一个子集(不过这篇笔记主要记录一些传统的机器学习方法)。而且需要明确的是:深度学习和监督学习、非监督学习、强化学习这些概念,并不是按照同一个分类标准分出来的不同机器学习方法。 2 监督学习中的分类与回归 监督学习:利用一组带标
阅读全文