11 2023 档案

【LLM】A Survey of Techniques for Maximizing LLM Performance
摘要：本文成文于11月底，openai devday之后 背景：OpenAI最近放出了Devday的闭门会视频，其中"A Survey of Techniques for Maximizing LLM Performance"(精进大型语言模型性能的各种技巧)是非常有价值的，本文对这次分享做摘要。 视频： 阅读全文
posted @ 2023-11-30 13:21 HongmingYou 阅读(715) 评论(0) 推荐(1) 编辑
【论文阅读】大模型参数高效微调方式——LORA
摘要：面向大模型的全参数finetune 需要很高的计算消耗和存储成本，学界开始探索参数高效的微调方法。LoRA就是其中的代表，他在原始的Transformer模型上插入少量的参数，只训练增量的参数就能达到与全参数finetune相同/更优的效果 阅读全文
posted @ 2023-11-01 12:06 HongmingYou 阅读(1090) 评论(0) 推荐(0) 编辑