可用的摘要模型
当前最流行的先进模型
huggingface社区
paperswithcode
大部分模型都是基于以下表中模型,做了数据集或其他部分的微小变动。
在近几年各种论文的对比实验中,基本对照的模型都是以下模型:
模型 | 描述 | 能否训练 |
---|---|---|
BART | 通用模型,适合做摘要任务 | 不能预训练,可以微调 |
PEGASUS | 针对摘要任务 | 不能预训练,勉强微调? |
T5 | 通用模型,适合做摘要任务 | 大模型,做摘要任务不能微调 |
BigBird | 通用模型,稀疏注意力 | 可以预训练 |
BigBird √
Pegasus ⚪