03 2025 档案
摘要:L1G3-浦语提示词工程实践 1. 提示工程 1.1 什么是提示词 根据大模型的应用领域,可以把提示词分为五类。其中,“文本生成”提示词是最基础最重要的。 提示词是调用生成式AI能力的基础接口。 提示词调用生成式AI能力的两个阶段如下: 大模型词元预测的原理: 获取输入文本,模型处理获取文本特征 依
阅读全文
摘要:L2G3-LMDeploy 量化部署进阶实践 1. LMDeploy部署模型 1.1 什么是模型部署? 1.2 一个大语言模型部署框架可以提供什么? LMDeploy提供了大语言模型部署的全链条开源工具,能够十分便捷地帮助用户部署自己大模型应用。 推理引擎与大模型的关系(from claude 3.
阅读全文
摘要:L2G2-Lagent 自定义你的 Agent 智能体 1. Agent 入门 1.1 Agent 是什么 Agent 的核心是将感知,推理和行动结合成一个闭环。Agent 通过感知器感知外部的环境,获取输入的数据。然后输入数据到某种形式中(比如模型),它负责处理输入数据,制定行动策略。随后执行器根
阅读全文
摘要:L1G6-OpenCompass 评测书生大模型实践 1. 大模型评测入门 1.1 评测重要性和挑战 解释: 超级对齐的必备组件:大模型安全问题日益突出,人工监管能力有限,需要有基于评测的安全监督。 数据污染:有的模型可能在评测集上训练,得到的分数不可信。 评测成本:客观题数量较多时,大模型推理消耗
阅读全文
摘要:L1G4-InternLM + LlamaIndex RAG 实践 1. RAG技术 1.1 RAG技术概述 解决的问题: 生成幻觉:不知道的东西乱说 过时知识:大模型的训练是一次性的而不是实时的,不能及时获取最新的知识 缺乏透明和可追溯的推理过程:大模型给出的答案可能是对的,但我们不知道是怎么得到
阅读全文