2023年12月19日
微调baichuan2-7b遇到的显存坑
摘要： 问题描述： 微调baichuan2-7b模型，验证一轮后继续训练第一个iteration显存大幅增加 项目链接： https://github.com/wp931120/baichuan_sft_lora 具体描述： 由于某些原因，笔者是在transformers4.30.2、torch2.0.1， 阅读全文
posted @ 2023-12-19 19:22 ISGuXing 阅读(412) 评论(0) 推荐(0) 编辑