课程5-笔记-书生浦语大模型实战营-5

一、大模型部署

1、模型部署及大模型特点

模型大，token不固定，结构简单

2、大模型部署遇到的问题及解决方案

硬件、速度、技术、方案

模型部署存在的问题：1、硬件需求相对较大，特别在于显卡及内存方面。2、由于模型较大，则速度就会很慢

优化方法：1、在卷积神经网络中是有：剪枝、量化及其他。2、大模型中有：太通透了！大模型训练和推理优化技术最全汇总！ - 知乎 (zhihu.com)

二、LMDeploy 略

解决方案