02 2023 档案

摘要:解密Prompt系列2. 冻结Prompt微调LM: T5 & PET & LM-BFF这一章我们介绍固定prompt微调LM的相关模型,他们的特点都是针对不同的下游任务设计不同的prompt模板,在微调过程中固定模板对预训练模型进行微调。以下按时间顺序介绍,支持任意NLP任务的T5,针对文本分类的两篇PET和LM-BFF。 阅读全文
posted @ 2023-02-24 08:32 风雨中的小七 阅读(1975) 评论(0) 推荐(2) 编辑
摘要:解密Prompt系列1. Tunning-Free Prompt:GPT2 & GPT3 & LAMA & AutoPrompt借着ChatGPT的东风,我们来梳理下prompt范式的相关模型,你还以其他形式看到过prompt概念,例如Demonstration,Instruction,In-Context learning,few-shot learning等等~开篇我们简单介绍下Prompt范式,并以其中的冻结参数Tunning-Free Prompt为线索串联GPT2,GPT3,LAMA和AutoPrompt这四种冻结参数的基础模型 阅读全文
posted @ 2023-02-10 08:53 风雨中的小七 阅读(3291) 评论(2) 推荐(0) 编辑

点击右上角即可分享
微信分享提示