03 2023 档案

摘要:解密Prompt系列4. 升级Instruction Tuning:Flan/T0/InstructGPT/TKInstruct这一章我们聊聊指令微调,模型还是那个熟悉的模型,核心的差异在于指令集和评估侧重点的不同,每个模型只侧重介绍差异点。按时间顺序分别是Flan,T0,InstructGPT, Tk-Instruct 阅读全文
posted @ 2023-03-26 19:35 风雨中的小七 阅读(2384) 评论(2) 推荐(1) 编辑
摘要:解密Prompt系列3. 冻结LM微调Prompt: Prefix-Tuning & Prompt-Tuning & P-Tuning这一章我们介绍在下游任务微调中固定LM参数,只微调Prompt的相关模型。这类模型的优势很直观就是微调的参数量小,能大幅降低LLM的微调参数量,是轻量级的微调替代品 阅读全文
posted @ 2023-03-10 08:40 风雨中的小七 阅读(4646) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示