12 2023 档案
摘要：介绍 当前大模型主流推理方式包括：vllm、tgi、原生transformer 回顾 目前主流大模型都是由transformer演变过来，transformer核心是attention，参考《Attention is All You Need》 ，attention核心则是3个矩阵：Query、Ke
阅读全文
摘要：介绍 目前大模型微调主要方案是 LLaMA-Factory LLaMA-Factory中，提供了两种多卡框架：Accelerate、DeepSpeed Accelerate 依赖 accelerate==0.24.1 transformers==4.34.1 datasets==2.14.7 tik
阅读全文
