02 2023 档案
摘要:
这一章我们介绍固定prompt微调LM的相关模型,他们的特点都是针对不同的下游任务设计不同的prompt模板,在微调过程中固定模板对预训练模型进行微调。以下按时间顺序介绍,支持任意NLP任务的T5,针对文本分类的两篇PET和LM-BFF。
阅读全文

摘要:
借着ChatGPT的东风,我们来梳理下prompt范式的相关模型,你还以其他形式看到过prompt概念,例如Demonstration,Instruction,In-Context learning,few-shot learning等等~开篇我们简单介绍下Prompt范式,并以其中的冻结参数Tunning-Free Prompt为线索串联GPT2,GPT3,LAMA和AutoPrompt这四种冻结参数的基础模型
阅读全文
