2023年12月10日
使用双卡/8卡3090微调llama2-70B/13B模型
摘要： 写在前面 本篇博文将会教大家如何在消费级的设备（或者各种超级便宜的洋垃圾上）实现13B/70B等无法在单张消费级显卡上加载（但可以在一台机器上的多张卡上加载）的模型的微调。 由于绝大部分做实验，仅要求实现推理，或者在微调时没有资源上到全量/13B+级别的真·大模型的微调，没有涉及到将一个模型放在多张 阅读全文
posted @ 2023-12-10 14:26 AlphaInf 阅读(11629) 评论(2) 推荐(106) 编辑