VISUALBERT: A SIMPLE AND PERFORMANT BASELINE FOR VISION AND LANGUAGE论文阅读笔记

摘要

作者提出了VisualBERT这一框架，其由一系列的Transformer layer组成，通过self attention将文本与图像隐式地对齐，甚至对于语法关系也很敏感。

方法

VisualBERT

方法的核心就是使用self attention对输入的文本以及图像区域隐式地进行对齐。这里作者引入了visual embedding，通过物体探测器对图像的一个区域生成得到。每一个embedding是如下三个embedding的和：

$f_o$，边界框区域送入卷积神经网络计算得到；$f_s$，用于表示这是图像而非文本的embedding；$f_p$，position embedding，用于表示区域在图像的空间信息。之后将visual embedding与text embedding一起送入Transformer layer。

TRAINING VISUALBERT

训练过程分为三个阶段：

Task-Agnostic Pre-Training

训练时mask掉text的一部分并对其进行预测，但不对visual input进行mask。同时，COCO数据集中一张图像有若干caption，训练时text segment包含两个caption，一个是对应的，另一个有50%的概率变成另一个对应的，50%的概率变为一个随机的。

Task-Specific Pre-Training

将visual bert在下游任务fine tune前，通过masked language modeling使用目标任务的数据进行训练是十分有必要的。

Fine-Tuning