Langchain-Chatchat 0.3 -- Xinference

在开始前先做下准备工作

首先要用nv显卡的话

先要装cuda：https://developer.nvidia.com/cuda-toolkit-archive

常用的是11.8，12.1或者12.4

装完可以查看下版本：

nvcc -V

不过这个时候可能会报错

这个时候需要装vc++

最简单的可以装 visual studio：下载 Visual Studio Tools - 免费安装 Windows、Mac、Linux

装社区版，选上桌面C++就可以（注意：cuda12.1的话需要装vs2019，12.4或以上装vs2022，不然装 llama-cpp-python 会很麻烦…）

装完后我们再看下版本：

上一篇装完了 miniconda

先注册 conda

conda init

现在开始先创建个环境：

conda create  --prefix D:\AI\Xinference python=3.11

下面激活环境

conda activate D:\AI\Xinference

激活环境后我们现在装下 pytorch：https://pytorch.org/

conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia

然后看下是否安装成功

python
import torch
torch.__version__
print(torch.cuda.is_available())

返回 true 说明 pytorch cuda 安装成功

然后开始安装 Xinference：https://inference.readthedocs.io/zh-cn/latest/index.html

pip install "xinference[all]"

提示报错，缺少 cython

安装 cython：

conda install cython

然后看下版本：

python -c "import Cython; print(Cython.__version__)"

再次安装：

pip install "xinference[all]"

再次报错…这次是 pynini 不对

安装 pynini：

conda install -c conda-forge pynini=2.1.5

装完看下版本：

python -c "import pynini; print(pynini.__version__)"

再次开始安装

pip install "xinference[all]"

这次报错缺少 llama-cpp-python

安装 llama-cpp-python ：

pip install llama-cpp-python   --extra-index-url https://abetlen.github.io/llama-cpp-python/whl/cu121

安装完成

继续安装 Xinference

pip install "xinference[all]"

这次顺利完成

运行下看看效果：

xinference-local

启动成功：

打开url看看效果：