$\mathit{AlphaINF}$

摘要： 这是一篇记录git submodule中存在的坑的文档 引用一个模块的命令 git submodule add http://your-submodule-url.com/ local/path 这个命令可以将一个子模块添加到当前的主仓库中（注意，这样添加的是最新版的） 运行该命令的路径，为主仓库的 阅读全文

摘要： 写在前面 原生vllm并不支持热添加lora，但是考虑到微调机微调后，需要在不停机的情况下传递lora，于是我们需要增加一个逻辑 修改VLLM包中的vllm/entrypoints/openai/api_server 1 from pydantic import Bas 2 3 class AddL 阅读全文

摘要： 写在前面 事实证明，在部分情况下，依然有开启deepspeed的必要性 这是上一篇文章，讲述使用双卡/8卡3090微调llama2-70B/13B模型 - AlphaInf - 博客园 (cnblogs.com) 但这一篇文章，存在下面的几个问题： 如果训练的数据的seq_len过长，那么很有可能出 阅读全文

摘要： 写在前面 VLLM框架升级了！ 0.3.0版本，拥有更高的推理速度（实测解析input的速度+40%），支持S-LoRA（一个主模型外套多个LoRA模型），很值得升级。 本篇文章将会记录升级过程中遇到的坑爹事情 硬件环境 主板：PCIE 4.0 x16 GPU：8x 3090 内存： DDR4 76 阅读全文

摘要： 写在前面 原生的tigerbot似乎并不支持函数调用，于是我来支持一下 数据集 我在huggingface上找了个英文的数据集 https://huggingface.co/datasets/sadmoseby/sample-function-call 这里面包含了1k组的函数调用，这个数据集的特点 阅读全文

摘要： 写在前面 本篇博文将会教大家如何在消费级的设备（或者各种超级便宜的洋垃圾上）实现13B/70B等无法在单张消费级显卡上加载（但可以在一台机器上的多张卡上加载）的模型的微调。 由于绝大部分做实验，仅要求实现推理，或者在微调时没有资源上到全量/13B+级别的真·大模型的微调，没有涉及到将一个模型放在多张 阅读全文

摘要： TigerBot-70b-4k-v4 推理部署 模型本地部署（基于HuggingFace) 根据实际测试，加载模型需要约129G显存，最低需要6张3090显卡（流水线并行） 如果使用vllm进行加速推理（张量并行），考虑8张3090显卡或者4张A100-40G（模型分割要求） 模型下载 截至目前，模 阅读全文

摘要： 官方环境要求（推理、微调）： 本次部署使用单卡A100-40G显卡。 部署 虚拟环境创建： conda create -n test python=3.10.9 conda activate test #启动虚拟环境 拉取 Llama2-Chinese git clone https://githu 阅读全文

摘要： 官方文档 镜像要求A100-40G-8卡 硬件配置： 软件配置： 1.准备 由于恒源云暂时缺少硬件资源，此次部署使用8*3090-24G配置（需要量化int8）： 注意镜像选择，pytorch版本选择1.13，不要选择2.0，2.0会产生不兼容的情况。 同时需要注意扩容，否则模型存放不够空间 创建实 阅读全文

摘要： 根据实际测试，加载模型需要130G显存，最低需要4张A100*40G显卡。 1.基于Transformers库推理： 首先安装最新版本的transformers： git clone https://github.com/huggingface/transformers.git cd transfo 阅读全文

摘要： 写在前面 笔者将在这篇文章中，写下有关过程监督，反馈对齐，奖励模型，和数据构造相关的论文的笔记。 论文主要来自Openai的论文。 问题坑 奖励模型是如何输出精确的标记的？在解决方案的每个标记后做出标量预测（具体细节？）。 预训练是怎么把知识注入进模型的，然后如何激活出这些知识 论文挖坑列表 基于过 阅读全文

摘要： 写在前面 本文将详细讲解如何在Proteus中，使用80C51单片机，编写汇编程序，实现出租车计费器，实现实时速度显示，行使里程统计及费用统计，以及自动的清零。 该题包含两个输入和三个输出，其中一个输入是车轮转动的更新信号，每更新一次代表车轮转了一圈，另一个输入信号是费用计费/清零输入按钮。而输出是 阅读全文

摘要： 下载依赖 pip install rouge_chinese nltk jieba datasets 下载训练数据集(示例) ADGEN 数据集任务为根据输入（content）生成一段广告词（summary）。 { "content": "类型#上衣*版型#宽松*版型#显瘦*图案#线条*衣样式#衬衫 阅读全文

摘要： 整体流程于上一份微调文件基本一致，此份是详细备份及关键说明： 1.处理文件 处理好法律名词解释为json文件的格式，其中prompt column为 content，response column 为summary，如下： （如果KEY不是content-summary的形式，也可修改train.s 阅读全文

摘要： 写在前面： ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数，使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。由于其对显存硬件要求较高（详见下图），对于硬件配置较低的使用者不太 阅读全文

摘要： https://platform.openai.com/docs/guides/fine-tuning（官方文档） ​ 当我们使用语言模型时候，往往需要给多个例子供ai参考，才能给出更为准确的回答，这种方法费时费力。而通过微调（Fine-tuning）能够把原始模型打造成更加适合你的任务需求的模型。 阅读全文

摘要： 什么是算法？它有什么特点? 算法是一组规则或过程，用于解决特定问题或完成特定任务。算法通常包括一系列的步骤和操作，可以将输入数据转换为输出数据。算法可以应用于各种领域，如计算机科学、数学、工程等，用于解决计算、优化、搜索、排序、加密等问题。 算法有以下几个特点： 精确性：算法必须准确无误地描述每一个 阅读全文

摘要： 写在前面 经过半天的折腾，我终于实现了通过调用ChatGPT的API 下面是一些坑底的地方 1，Python必须是3.7.1以上的版本 2，安装Openai的库，得是0.27开头的，如果是Python 3.6.3则可能只能安装0.10以下的版本 3，如果是在一个空的环境中pip install op 阅读全文

摘要： 问题描述 从本地提交代码到 GitHub 远程仓库，由于 DNS 污染的问题，国内提交速度很慢，有时候还报错。笔者自己花钱买了一个梯子，但开启梯子的代理后仍然没有解决问题，不过 Google 等倒是可以访问了。 原因分析 虽然开启了代理，但可能 git push 并没有走代理，因为需要在 git 里 阅读全文

摘要： 写在前面 doccano是一个给文本进行一系列标记的数据标记平台 下文将简单描述如何搭建doccano，以及遇到的一些坑爹情况 基本环境信息 系统：windows 10 Python版本：3.6.3 （因为是3.6的所以需要打补丁） 数据库：Release 11.2.0.2.0 Production 阅读全文