摘要：
概述 LayoutLMv2是对LayoutLM的改进，主要有以下几点区别： 将视觉信息加入到了预训练阶段，而不是LayouLM中的微调阶段 删除了MDC，添加了text-image alignment和text-imgae matching两个预训练任务 将spatial-aware的自注意力机制整 阅读全文
摘要：
概述 LayoutLM是一个基于Bert，结合了文本和版式信息的文档预训练模型，在多个下游任务中都达到了当时SOTA的结果。 模型 模型的总体结构如图1所示： 图1 LayoutLM总体结构 LayoutLM在Bert的基础上添加了2-D Position Embedding和Image Embed 阅读全文