12 2023 档案
摘要:写在前面 原生的tigerbot似乎并不支持函数调用,于是我来支持一下 数据集 我在huggingface上找了个英文的数据集 https://huggingface.co/datasets/sadmoseby/sample-function-call 这里面包含了1k组的函数调用,这个数据集的特点
阅读全文
摘要:写在前面 本篇博文将会教大家如何在消费级的设备(或者各种超级便宜的洋垃圾上)实现13B/70B等无法在单张消费级显卡上加载(但可以在一台机器上的多张卡上加载)的模型的微调。 由于绝大部分做实验,仅要求实现推理,或者在微调时没有资源上到全量/13B+级别的真·大模型的微调,没有涉及到将一个模型放在多张
阅读全文
摘要:TigerBot-70b-4k-v4 推理部署 模型本地部署(基于HuggingFace) 根据实际测试,加载模型需要约129G显存,最低需要6张3090显卡(流水线并行) 如果使用vllm进行加速推理(张量并行),考虑8张3090显卡或者4张A100-40G(模型分割要求) 模型下载 截至目前,模
阅读全文