摘要：
热点： 2019：摘要定制化的预训练模型 不同场景的数据集 学术论文摘要 生成式摘要的事实一致性 方向： 模仿人撰写摘要的模式，融合抽取式和生成式摘要方法生成联合摘要 基于语义层面研究进一步地深度挖掘句子级、篇章级的语义并加以利用来进一步提高文本摘要的语义一致性和可读性 定制化摘要 超长文本摘要 最 阅读全文
摘要：
1.prompt产生 预训练语言模型的研究思路通常是“pre-train, fine-tune”。 但是随着预训练模型的不断增大，对其进行fine-tune的硬件要求、有标注的数据的需求也在不断上涨。 为了缓解这个问题，提出了prompt。 2.prompt怎么解决上述问题 pre-train，fi 阅读全文
摘要：
当前在文本摘要领域，利用深度模型的监督学习方式表现的最好，这类方法基本都是将摘要抽取看做seq2seq自回归的生成任务，训练时基于极大似然估计，让模型预测的序列的概率最大近似标注的参考序列。 这类方法存在一个明显的问题就是：模型在预测时候上一个token并不都跟参考序列中的一样，这样造成模型训练与预 阅读全文
摘要：
登录拦截器功能：开发一个系统时，系统需要登录后才能进行各种访问。如果没有登录，则没有权限进行访问，拦截器将拦截访问请求，跳转到登录页面提示用户进行登录。 编写一个拦截器实现handlerInterceptor接口 @Slf4j public class LoginInterceptor implem 阅读全文
摘要：
论文地址 摘要 文本摘要模型在训练和推理阶段存在着差异，即偏差暴露问题。在训练阶段，在teacher-force下，这些模型被优化，以最大限度地提高黄金摘要的可能性，给定黄金摘要令牌作为解码器的输入，而在推理时，给定的令牌被生成的令牌替换。因此，很可能产生低质量的摘要。.为了解决这个问题，我们建议利 阅读全文
摘要：
论文 代码 摘要 本文提出了一个概念上简单但是强大的抽象摘要框架，SimCLS。它通过对比学习的方式，缓解了Seq2Seq框架固有的目标函数和评价指标不一致的问题，从而可以从模型生成的候选摘要中筛选出真实的评价指标(ROUGE)打分更高的摘要。将它用于当前的SOTA模型，比如BART，PEGASUS 阅读全文
摘要：
论文地址 介绍 当前在文本摘要抽取领域，利用深度模型的监督学习方式表现的最好，这类方法基本都是将摘要抽取看做seq2seq自回归的生成任务，训练时基于极大似然估计，让模型预测的序列的概率最大近似标注的参考序列。 这类方法存在一个明显的问题就是：exposure bias （曝光偏差），即模型在预测时 阅读全文
摘要：
论文链接 摘要 当前的文本摘要都是在transformers预训练基础上，对文本摘要的下游任务进行微调，没有针对生成式文本摘要的预训练方法。 介绍 在这项工作中，作者专门针对生成式文本摘要研究预训练方法，并对12个下游数据集（包括新闻，科学，短故事，说明，电子邮件，专利和立法法案）进行评估。 作者发 阅读全文
摘要：
Robust Speech Recognition via Large-Scale Weak Supervision 介绍 大规模弱监督的训练。先前的方法都是通过大量的无监督学习训练（无监督的数据容易收集，所以通过大量无监督的学习可以训练出一个质量较好的encoder）。但是用的时候还需要找一些有监 阅读全文
摘要：
摘要 语言表示学习的自监督方法受到三个独特问题的挑战： 每个输入话语中都有多个声音单元在预训练阶段，没有输入声音单元的词典（没有单独的字符或离散的单词输入）声音单元具有可变长度，没有明确的分段 为了解决这些问题，提出了hidden-unit BERT（HuBERT）。 HuBERT使用聚类的方式为B 阅读全文