摘要: 今天我们阅读peft源码,主要是为了弄清楚prefix tuning的工作原理和代码细节。 # 理解和思考 (1) prefix tuning和zero-shot的区别在于,把指令/要求(比如要生成positive的句子)和输入的文字直接区分开,指令用连续向量而不是离散词元表示。如果不是prefix 阅读全文
posted @ 2023-08-07 22:21 鸽鸽的书房 阅读(1059) 评论(0) 推荐(0) 编辑
摘要: 记录运行这个代码的过程:https://huggingface.co/docs/peft/task_guides/seq2seq-prefix-tuning # 环境配置 虚拟环境 ```bash python -V conda create -n peft-practice python=3.10 阅读全文
posted @ 2023-08-07 16:31 鸽鸽的书房 阅读(129) 评论(0) 推荐(0) 编辑