摘要：
第一节课笔记 https://www.cnblogs.com/russellwang/p/18023910 第二节课笔记 https://www.cnblogs.com/russellwang/p/18023922 第二节课作业 https://www.cnblogs.com/russellwang 阅读全文
摘要：
大模型评测概述 评测目的：了解模型能力，指导模型迭代，监控模型风险，把握模型应用 大模型评测方法 客观评测：问答题、多选题、判断题等 主观评测：主观题（人类评价、模型评价） OpenCompass评测平台 阅读全文
摘要：
一、大模型部署 1、模型部署及大模型特点 模型大，token不固定，结构简单 2、大模型部署遇到的问题及解决方案 硬件、速度、技术、方案 模型部署存在的问题：1、硬件需求相对较大，特别在于显卡及内存方面。2、由于模型较大，则速度就会很慢 优化方法：1、在卷积神经网络中是有：剪枝、量化及其他。2、大模 阅读全文
摘要：
1、XTuner安装# 如果你是在 InternStudio 平台，则从本地 clone 一个已有 pytorch 2.0.1 的环境：/root/share/install_conda_env_internlm_base.sh xtuner0.1.9# 如果你是在其他平台：conda create 阅读全文
摘要：
对LLM进行增强的方法一般有两种：RAG（Retrieval Augmented Generation检索增强生成）或者finetune。其中，RAG可以简单理解为外接一个知识库，从而对某个特定的领域进行增强原始LLM的能力。相比Finetune而言，成本低，且实时性好。不需要对原模型进行修改，但是 阅读全文