04 2020 档案
摘要：一篇GAN与AE结合的文章，用于探索AE相较GAN的生成能力和解耦表示。构建了两种AE：MLP和StyleGAN。结构如下： 把原生GAN中的G分解为F与G的映射，D分解为E与D的映射： F是一个确定性的映射，将噪声z编码成隐变量w。 E和G是随机的，G同时取决于隐变量w和噪声的输入。E将生成的图像
阅读全文
摘要：转载于知乎：pytorch源码阅读（三）Sampler类与4种采样方式 由于我们不能将大量数据一次性放入网络中进行训练，所以需要分批进行数据读取。这一过程涉及到如何从数据集中读取数据的问题，pytorch提供了Sampler基类【1】与多个子类实现不同方式的数据采样。子类包含： Sequential
阅读全文
摘要：这篇文章给出了用元学习做few-shot的baseline。整体感觉是实验做得很丰富，但是创新不太明显，简单总结一些实验过程和结论。code：https://github.com/cyvius96/few-shot-meta-baseline。 关于元学习和few-shot的基本内容有个很好的解释：
阅读全文
摘要：转载于：Model-Agnostic Meta-Learning （MAML）模型介绍及算法详解 MAML在学术界已经是非常重要的模型了，论文Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks自2017年发表至今已经收获
阅读全文
摘要：@abstractmethod：抽象方法，含abstractmethod方法的类不能实例化，继承了含abstractmethod方法的子类必须复写所有abstractmethod装饰的方法，未被装饰的可以不重写 @ property：方法伪装属性，方法返回值及属性值，被装饰方法不能有参数，必须实例化
阅读全文
摘要：本文用正交softmax层来减轻少样本分类利用NN做易过拟合的问题。思路是：对于分类器的分类权重层，令其正交化。就是分类器的权重向量两两正交化。原理比较清晰易懂，实现时将权重向量的部分链接进行移除（dropout），但是这个移除在训练和测试是固定的，不是学习的，没有在优化过程中进行限制。本文的方法叫
阅读全文
摘要：一篇总结整理近来few-shot分类的文章（近来文章一些毛病：code实现细节很难说清真正的gain在哪，一些baseline被压得太低，base类和novel类之间的域差异不明显导致评估也不可能不太准）。作者复现了一下主要的几篇工作，然后总结如下：更深的backbone在不同域上的表现对于不同方法
阅读全文
摘要：提出一种成为MFR（Meta Face Recognition）的方法用于解决在未知域模型泛化的paper。如下图所示，左边为四个源域，右边为5个目标域，通过将源域迭代划分成meta-train/meta-test集合可以提升模型的迁移性能，使得在未知域上也会能有较好的结果。 在真实应用中通常有两种
阅读全文
摘要：这篇换脸paper分析：https://www.cnblogs.com/king-lps/p/12234114.html 论文复现地址：https://github.com/SirLPS/face_shifter 由于暂时只有一张卡，bs设为5，训练数据只利用了vggface。其他操作基本与论文一致
阅读全文
摘要：指定当前程序使用的 GPU 首先，通过 tf.config.list_physical_devices ，我们可以获得当前主机上某种特定运算设备类型（如 GPU 或 CPU ）的列表，例如，在一台具有 4 块 GPU 和一个 CPU 的工作站上运行以下代码： gpus = tf.config.lis
阅读全文
摘要：TF2默认的即时执行模式（Eager Execution）带来了灵活及易调试的特性，但在特定的场合，例如追求高性能或部署模型时，我们依然希望使用 TensorFlow 1.X 中默认的图执行模式（Graph Execution），将模型转换为高效的 TensorFlow 图模型。此时，TensorF
阅读全文
摘要：TFRecord 是 TensorFlow 中的数据集存储格式。当我们将数据集整理成 TFRecord 格式后，TensorFlow 就可以高效地读取和处理这些数据集，从而帮助我们更高效地进行大规模的模型训练。 TFRecord 可以理解为一系列序列化的 tf.train.Example 元素所组成
阅读全文
摘要：有两种方法初始化Model： 1. 利用函数API，从Input开始，然后后续指定前向过程，最后根据输入和输出来建立模型： 2. 通过构建Model的子类来实现：类似于pytorch的nn.Module：通过在__init__中定义层的实现，然后再call函数中实现前向过程： 方法： 1. comp
阅读全文
摘要：tf.keras.Input用于实例化Keras tensor： 例如有a,b,c分别是Keras tensor，那么可以这样写到模型里：model = Model(input=[a, b], output=c) 。参数： shape:tuple类型，不包含批量维度，例如shape=（32，）表明输
阅读全文
摘要：tf.data.Dataset API非常丰富，主要包括创建数据集、应用transform、数据迭代等。 一、Dataset类初览 最简单的方法是根据python列表来创建： 处理文件数据，利用tf.data.TextLineDataset: 对于TFRecord格式可以利用TFRecordData
阅读全文
摘要：PYTORCH并行训练。Author: Shen Li DistributedDataParallel (DDP) 分布式训练在模型层面实现数据并行。利用 torch.distributed包来同步梯度、参数和缓存。并行性在进程内和进程间都是可用的。在进程中，DDP将输入模块复制到device_id
阅读全文
摘要：本文译自PYTORCH并行处理：Author: Shen Li 模型并行在分布式训练中很常用。pytorch本身就用 DataParallel 做并行训练，使用非常简单。思想也比较直观：将模型复制到多个GPU上，然后每个gpu计算输入的一部分。尽管这个方法可以加速训练，但是当模型太大以至于放不下一个
阅读全文
摘要：这是一个官网的例子：torch.nn入门。 一般而言，我们会根据自己的数据需求继承Dataset（from torch.utils.data import Dataset, DataLoader）重写数据读取函数。或者利用TensorDataset更加简洁实现读取数据。 抑或利用 torchvisi
阅读全文
摘要：本节翻译在PYTORCH NLP系列最后一文。利用torchtext类来处理一个著名的数据集，包含了一些英文和德文句子。利用该数据处理sequence-to-sequence模型，通过注意力机制，可以将德语翻译成英语。基于 this tutorial from PyTorch community m
阅读全文
摘要：本文译自PYTORCH官网TEXT系列。本节主要利用torchtext中的文本分类数据集，包括： 这个例子展示了如何利用这些TextClassfication数据集中的一个来训练监督学习算法。 用ngrams加载数据 一个ngrams包特性被用来捕获一些关于本地词序的部分信息。在实际应用中，双字元（
阅读全文
摘要：Author: Sean Robertson 这是NLP从头学习系列的第三篇。之前都是利用自己写的函数与类来处理数据并完成NLP分类与生成任务。本节将学习利用torchtxt来处理。该项目为：教会网络从法语翻译成英语。 这个实现主要根据 sequence to sequence network，其中
阅读全文
摘要：Author: Sean Robertson 从头开始NLP的第二篇。第一篇用于对给定的名字进行分类，分类属于哪种语言。这次将学习如何从给定语言生成名字。 仍然手动实现一个小型RNN，不同的是之前输入一个名字的所有字母来输出一个类别，这次输入类别一次输出一个字母。递归预测来形成语言。也被称为“语言模
阅读全文
摘要：翻译总结于 pytorch官网 Author: Sean Robertson 构建一个基础的character-level RNN来分类单词。本文和接下来的两篇文章将会从头（数据处理）开始构建NLP模型。特别的没有利用各种已有的操作（torchtext），所以可以从底层来学习NLP模型的处理过程。
阅读全文
摘要：转载于： 一行代码提升迁移性能 | CVPR2020 Oral 在迁移任务中，目标域由于没有标签，常常导致分界面附近混淆较多的数据。而我们基于这一现象，分析了批量类别响应组成的批量矩阵A，并希望从判别性和迁移性进行优化。 判别性 所谓判别性，指的是预测类别的过程是否坚定。比如对于二类问题的响应 [0
阅读全文
摘要：利用jupytext进行格式转换： jupytext --to py notebook.ipynb # convert notebook.ipynb to a .py file jupytext --to notebook notebook.py # convert notebook.py to a
阅读全文
摘要：这篇论文把图像卡通化分解成所谓的“白盒”。代码开源。就是之前的方案是一股脑梭哈，原图和风格图扔到网络里然后通过约束特征也好或其他操作输出风格后的图像。这篇工作把这一过程分解，使得可控。具体分解如下： 原图和风格图操作时分为三个模块：surface表征、structure表征、texture表征。 先
阅读全文
