ExplorerMan

摘要： VLLM和LMdeploy 各有优劣 VLLM功能多，开发者多，代码比较容易懂也比较容易修改， 能适配不同的平台 LMdeploy执行效率高，开发者少，文档几乎没有，只支持NVidia 公司实际上线，肯定要博采众长，既要有LMdeploy的执行效率，也要参考VLLM的各种功能实现。 LMdelpoy 阅读全文

摘要： LMDeploy简介LMDeploy 由 MMDeploy 和 MMRazor 团队联合开发，是涵盖了 LLM 任务的全套轻量化、部署和服务解决方案，提供以下核心功能： 高效的推理：LMDeploy 开发了 Persistent Batch(即 Continuous Batch)，Blocked K 阅读全文