2024年12月16日
Xinference环境搭建&推理测试
摘要： 引子 写了很多篇开源大模型的环境部署与推理搭建，截止到目前，开源大模型已经发展较为完善。个人觉得，产品和项目维度来看更多的是如果去落地实现，也就是大模型的最后一公里的应用开发。最近看到Xinference一个开源很火的推理框架。OK，那就让我们开始吧。 一、框架介绍 Xinference：一款性能强 阅读全文
posted @ 2024-12-16 10:55 要养家的程序猿 阅读(40) 评论(0) 推荐(0) 编辑