关于提示学习

提示学习

Prompt learning也被称为阅读理解提示学习(Prompted Reading Comprehension)是一种强化学习技术,用于训练语言模型在给定一个提示(prompt)的情况下生成合适的回答或补全文本。在基于提示学习中,模型会根据给定的提示文本,生成应答或者补全文本的后续部分。该技术广泛应用于问答系统、对话生成和文章补全等任务中。相比于传统的生成式模型,基于提示学习可以使模型更加精确地生成符合提示意义合适回答,减少了模糊或不相关的生成结果,提升了生成的质量。

openprompt

  • OpenPrompt是一个开源的提示学习框架,旨在帮助研究人员和开发者更好地进行基于提示学习的实验和应用。它由清华大学自然语言处理与社会人文计算实验室开发,是基于Pytorch实现的。
  • OpenPrompt提供了丰富的功能和工具可以方便地构建和训练基于提示的生成模型。用户可以根据自己的需求定义提示模板、修改模型结构和参数,模型训练和评估。
  • 除了基本的模型构建和训练功能外,OpenPrompt还供了一系列辅助函数和工具,如数据处理、指标计算、解释性分析等,帮助用户更好地理解和调优生成模型。

openprompt库中存在代码问题

truncate_from_head 和 truncate_from_tail两个函数得到的效果一样,from_head的代码存在细节错误:

part[to_trunc:] ==> part[:-to_trunc]

# 在TokenizerWrapper类中(路径为openprompt\plms\utils.py)代码第148行

快速开始

posted @ 2023-08-22 14:16  嘎吱嘎吱脆  阅读(122)  评论(0编辑  收藏  举报