随笔分类 - 论文笔记
摘要：Deep Variational Information Bottleneck (VIB) 变分信息瓶颈 论文阅读笔记。本文利用变分推断将信息瓶颈框架适应到深度学习模型中，可视为一种正则化方法。 变分信息瓶颈 假设数据输入输出对为，假设判别模型有关于$
阅读全文
摘要：
孤立森林（Isolation Forest）是经典的异常检测算法（论文网址）。本文用python对其进行实现，以及与常用的异常检测包PyOD进行效果对比。 简单来说，孤立森林（IForest）中包含若干孤立树（ITree），每颗树的创建是独立的，与其它树无关。假设数据集包含个样本，每个样本都包
阅读全文
孤立森林（Isolation Forest）是经典的异常检测算法（论文网址）。本文用python对其进行实现，以及与常用的异常检测包PyOD进行效果对比。 简单来说，孤立森林（IForest）中包含若干孤立树（ITree），每颗树的创建是独立的，与其它树无关。假设数据集包含个样本，每个样本都包
阅读全文
摘要：论文网址：https://dl.acm.org/doi/10.1145/3404835.3462961 Arxiv：https://arxiv.org/abs/2104.08419 论文提出一种用增量学习思想做时序知识图谱补全（Temporal Knowledge Graph Completion,
阅读全文
摘要：小样本知识图补全——关系学习。论文利用三元组的邻域信息，提升模型的关系表示学习，来实现小样本的链接预测。主要应用的思想和模型包括：GAT（图注意力神经网络）、TransH、SLTM、Model-Agnostic Meta-Learning (MAML)。 论文地址：https://arxiv.org
阅读全文
摘要：模型不可知元学习（Model-Agnostic Meta-Learning, MAML）的目标是使模型每次的梯度更新更有效、提升模型的学习效率、泛化能力等，它可以被看做一种对模型进行预训练的方法，适用于小样本学习。 原文：http://proceedings.mlr.press/v70/finn17
阅读全文
摘要：经典超分辨率重建论文，基于稀疏表示。下面首先介绍稀疏表示，然后介绍论文的基本思想和算法优化过程，最后使用python进行实验。 稀疏表示 稀疏表示是指，使用过完备字典中少量向量的线性组合来表示某个元素。过完备字典是一个列数大于行数的行满秩矩阵，也就是说，它的列向量有无数种线性组合来表达列向量空间中的
阅读全文
摘要：变分自动编码器的大致概念已经理解了快一年多了，但是其中的数学原理还是没有搞懂，在看到相关的变体时，总会被数学公式卡住。下决心搞懂后，在此记录下我的理解。 公式推导——变分下界 这篇文章提出一种拟合数据集分布的方法，拟合分布最常见的应用就是生成模型。该方法遵循极大似然策略，即对于数据集$X = \{x
阅读全文
摘要：GAN自推出以来就以训练困难著称，因为它的训练过程并不是寻找损失函数的最小值，而是寻找生成器和判别器之间的纳什均衡。前者可以直接通过梯度下降来完成，而后者除此之外，还需要其它的训练技巧。 下面对历年关于GAN的论文提出的训练技巧进行总结，这里仅记录技巧，具体原理请直接看论文原文。 WGAN和WGAN
阅读全文
摘要：WGAN论文指出，原始GAN以JS、KL散度作为损失容易导致生成器梯度消失，他们提出了一种新的损失函数——Wasserstein 距离，很大程度上解决了GAN训练难的问题。 原始GAN的损失函数的缺陷 当两个分布之间重叠很小，或者说，两个分布的概率密度同时大于0的区域在整个分布的占比几乎为0时（无穷
阅读全文
摘要：GAN的定义 GAN是一个评估和学习生成模型的框架。生成模型的目标是学习到输入样本的分布，用来生成样本。GAN和传统的生成模型不同，使用两个内置模型以“对抗”的方式来使学习分布不断接近输入样本分布。两个模型一个是生成模型（Generative model），用来生成样本；另一个是判别模型（Discr
阅读全文
摘要：正则化 虚拟对抗训练是一种正则化方法，正则化在深度学习中是防止过拟合的一种方法。通常训练样本是有限的，而对于深度学习来说，搭设的深度网络是可以最大限度地拟合训练样本的分布的，从而导致模型与训练样本分布过分接近，还把训练样本中的一些噪声也拟合进去了，甚至于最极端的，训练出来的模型只能判断训练样本，而测
阅读全文
随笔 - 107
文章 - 2
评论 - 53
阅读 -
27万
