可用的摘要模型

当前最流行的先进模型

huggingface社区

image

paperswithcode

image
image

大部分模型都是基于以下表中模型,做了数据集或其他部分的微小变动。
在近几年各种论文的对比实验中,基本对照的模型都是以下模型:

模型 描述 能否训练
BART 通用模型,适合做摘要任务 不能预训练,可以微调
PEGASUS 针对摘要任务 不能预训练,勉强微调?
T5 通用模型,适合做摘要任务 大模型,做摘要任务不能微调
BigBird 通用模型,稀疏注意力 可以预训练

BigBird √

image

Pegasus ⚪

image
image

image

image

BART -微调

image

BART微调

T5-微调

微调
simpleT5

FactorSUM

image

posted @ 2023-04-14 11:09  ︶ㄣ演戲ㄣ  阅读(55)  评论(0编辑  收藏  举报