摘要：
目录 大模型常见推理框架：Transformers、Llama.cpp、Llamafile、Ollama、vLLM、TGI（Text Generation Inference)、DeepSpeed。 vLLM，deepspeed是重点 Hugging Face的Transformers 强大的Pyt 阅读全文
摘要：
目录1. 训练框架概述2. 重点 Deepspeed框架介绍3. DeepSpeed框架实践4. debug5. 扩展 1. 训练框架概述 100亿 10^10 10B 参数量 是模型具备涌现能力的基本门槛 如何充分的利用显卡的能力 充分的使用显存 分布式训练框架对比 Megatron and De 阅读全文