浦语书生大模型实战训练营01笔记

大模型总的发展趋势：单一模型处理单一任务到一个模型解决多个任务

书生.浦语大模型开源历程：internLM大模型发布-》全面商业、开源支持8k语境全链路开源体系》多模态预训练语料库开源发布-》1.1版本迭代升级，开源智能体框架支持语言模型到智能体升级转换-》增强版发布开源工具全线升级

书生.浦语大模型种类：1.轻量级（70亿参数，10000亿数据，8k长对话能力，多个调用模板支持）2.中量级（200亿参数降低耗时出结果速度变快，语料长度变成16k）3.重量级(1230亿模型参数支持，支持高精度api调用实现各类action的智能体)，性能够强

应用上的一些特点：自动根据业务场景进行判断选择模型，减少算力需求

开源链路体系：1.2T多种类数据集

​ 2.预训练-参数微调

​ 3.支持低成本微调

​ 4.支持部署性能高

​ 5.性能复现语料库丰富

​ 6.支持多种智能体ACTION应用

微调：1.增量训练微调2.有监督微调，支持多种生态和算法适配多种硬件