摘要:
概述 LayoutLMv2是对LayoutLM的改进,主要有以下几点区别: 将视觉信息加入到了预训练阶段,而不是LayouLM中的微调阶段 删除了MDC,添加了text-image alignment和text-imgae matching两个预训练任务 将spatial-aware的自注意力机制整 阅读全文
摘要:
概述 LayoutLM是一个基于Bert,结合了文本和版式信息的文档预训练模型,在多个下游任务中都达到了当时SOTA的结果。 模型 模型的总体结构如图1所示: 图1 LayoutLM总体结构 LayoutLM在Bert的基础上添加了2-D Position Embedding和Image Embed 阅读全文