摘要:
这篇文章作者写得非常详细,读起来非常舒适。 Contribution: 在long-tailed data中,re-sampling不一定有效。 re-sampling的失败可能是对于不相关的context过拟合导致的,作者设计了实验论证了这一假说。 在single-stage的框架下,作者提出了上 阅读全文
摘要:
初始工作 定义一个模拟的长尾数据集 import torch import numpy as np import random from torch.utils.data import Dataset, DataLoader np.random.seed(0) random.seed(0) torc 阅读全文
摘要:
这篇论文: 提出了prob-and-allocate训练策略,在prob阶段获得样本损失,在allocate阶段分配样本权重。 以[2]的meta-weight-net为Baseline,取名为CurveNet,进行部分改动。 另外,这篇论文提供的源码结构混乱,复现难度较大。主要的工作也是基于met 阅读全文
摘要:
文章提供的代码结构简洁,简单易懂,十分适合作为Baseline。省去冗长的数学证明,直接看文章的贡献: 受SVM的hinge loss启发,提出了新的Loss函数鼓励每个类在表征空间有更大的margin。 延迟re-weighting的trick。 在多个数据集,包括情感分类、图像分类进行实验。 M 阅读全文
摘要:
用自监督学习MoCO提取表征,然后分布校准(与tailed class 相似的head classes去校准tailed class的分布)。没有开源,没有创新。 Introduction 作者考虑了数据集常见的两个问题:1、部分数据被错误得标注;2、数据呈长尾分布。之前涌现了很多工作分别针对这两个 阅读全文
摘要:
背景 Mixup(混合) 定义 对于一个样本\((x_i,y_i)\),将其与另一个样本\((x_j,y_j)\)混合: \[\begin{aligned} \tilde{x}_i &= \lambda x_i + (1-\lambda)x_j, \\ \tilde{y}_i &= \lambda 阅读全文
摘要:
1. 加载数据集 MNIST from torchvision import datasets, transforms transform = transforms.Compose([ transforms.ToTensor(), # value of pixel: [0, 255] -> [0, 阅读全文
摘要:
1. Sigmoid 数学表达式 \[f(x) = \frac{1}{1+e^{-x}} \]图像 2. Tanh 数学表达式 \[f(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}} \]图像 3. ReLU 数学表达式 \[f(x) = \max(0, x) \]图像 阅读全文
摘要:
实现代码 import time import pydirectinput import keyboard if __name__ == '__main__': revolve = False while True: time.sleep(0.1) if keyboard.is_pressed(', 阅读全文
摘要:
前言 关于Transformer原理与论文的介绍:详细了解Transformer:Attention Is All You Need PyTorch中实现Transformer模型 前面介绍了,Transformer 模型结构的实现,这里介绍下论文中提到的训练策略与设置。 设置文件名为trainin 阅读全文
摘要:
报错 在复现 Transformer 代码的训练阶段时,发生报错: RuntimeError: Expected all tensors to be on the same device, but found at least two devices, cuda:0 and cpu! 解决方案 通过 阅读全文
摘要:
前言 关于Transformer原理与论文的介绍:详细了解Transformer:Attention Is All You Need 对于论文给出的模型架构,使用 PyTorch 分别实现各个部分。 命名transformer.py,引入的相关库函数: import copy import torc 阅读全文
摘要:
前言 使用opencv对图像进行操作,要求:(1)定位银行票据的四条边,然后旋正。(2)根据版面分析,分割出小写金额区域。 图像校正 首先是对图像的校正 读取图片 对图片二值化 进行边缘检测 对边缘的进行霍夫曼变换 将变换结果从极坐标空间投影到笛卡尔坐标得到倾斜角 根据倾斜角对主体校正 import 阅读全文
摘要:
论文“Bi-directional Distribution Alignment for Transductive Zero-Shot Learning”提出Bi-VAEGAN,它以f-VAEGAN-D2为Baseline,进一步发展了TF-VAEGAN通过利用所见数据和反馈模块增强生成的视觉特征思 阅读全文
摘要:
前面介绍了将VAE+GAN解决零样本学习的方法:f-VAEGAN-D2,这里继续讨论引入生成模型处理零样本学习(Zero-shot Learning, ZSL)问题。论文“Latent Embedding Feedback and Discriminative Features for Zero-S 阅读全文