Xinference环境搭建&推理测试

引子

写了很多篇开源大模型的环境部署与推理搭建，截止到目前，开源大模型已经发展较为完善。个人觉得，产品和项目维度来看更多的是如果去落地实现，也就是大模型的最后一公里的应用开发。最近看到Xinference一个开源很火的推理框架。OK，那就让我们开始吧。

一、框架介绍

Xinference：一款性能强大且功能全面的大模型部署与分布式推理框架。可用于大语言模型（LLM），语音识别模型，多模态模型等各种模型的推理。通过Xorbits Inference，你可以轻松地一键部署你自己的模型或内置的前沿开源架构。

主要功能：

（1）模型推理，轻而易举：大语言模型，语音识别模型，多模态模型的部署流程被大大简化。一个命令即可完成模型的部署工作。

（2）前沿模型，应有尽有：框架内置众多中英文的前沿大语言模型，包括 baichuan，chatglm2 等，一键即可体验！内置模型列表还在快速更新中！

（3）异构硬件，快如闪电：通过 ggml，同时使用你的 GPU 与 CPU 进行推理，降低延迟，提高吞吐！

（4）接口调用，灵活多样：提供多种使用模型的接口，包括 OpenAI 兼容的 RESTful API（包括 Function Calling），RPC，命令行，web UI 等等。方便模型的管理与交互。

（5）集群计算，分布协同: 支持分布式部署，通过内置的资源调度器，让不同大小的模型按需调度到不同机器，充分使用集群资源。

（6）开放生态，无缝对接: 与流行的三方库无缝对接，包括 LangChain，LlamaIndex，Dify，以及 Chatbox。

二、环境搭建

docker run -it -v /datas/work/zzq/:/workspace --gpus=all --network=host pytorch/pytorch:2.4.0-cuda12.4-cudnn9-devel bash

cd /workspace/Xinference/inference/xinference/deploy/docker

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

pip install xinference -i https://pypi.tuna.tsinghua.edu.cn/simple

三、推理测试

xinference-local --host 0.0.0.0 --port 9997

访问网页：