摘要:
概述 LayoutLMv2是对LayoutLM的改进,主要有以下几点区别: 将视觉信息加入到了预训练阶段,而不是LayouLM中的微调阶段 删除了MDC,添加了text-image alignment和text-imgae matching两个预训练任务 将spatial-aware的自注意力机制整 阅读全文
posted @ 2022-09-07 14:24
SpicyWonton
阅读(977)
评论(1)
推荐(1)
摘要:
概述 LayoutLM是一个基于Bert,结合了文本和版式信息的文档预训练模型,在多个下游任务中都达到了当时SOTA的结果。 模型 模型的总体结构如图1所示: 图1 LayoutLM总体结构 LayoutLM在Bert的基础上添加了2-D Position Embedding和Image Embed 阅读全文
posted @ 2022-09-07 10:51
SpicyWonton
阅读(658)
评论(0)
推荐(0)

浙公网安备 33010602011771号