随笔分类 - AI
摘要：Ollama 默认 pull 到的模型都是量化过的 要使用非量化的模型就需要自己导入 但是 Hugging Face 不用魔法是打不开的 我们找个镜像站下载模型: 比如这个吧：https://hf-mirror.com/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B
阅读全文
摘要：项目Github：https://github.com/xorbitsai/inference/文档：https://inference.readthedocs.io/zh-cn/latest/getting_started/index.html安装的时候如果还是 0.16.3pip install
阅读全文
摘要：在开始前先做下准备工作首先要用nv显卡的话先要装cuda：https://developer.nvidia.com/cuda-toolkit-archive常用的是11.8，12.1或者12.4装完可以查看下版本：nvcc -V不过这个时候可能会报错这个时候需要装vc++最简单的可以装 visual
阅读全文
摘要：Langchain-Chatchat 0.3的版本更新到了 0.3本地不再使用 fastchat 了，这次准备使用 Xinference为了方便 python 的版本管理，这次使用 miniconda安装 miniconda 其实很简单的，下载对应的版本下一步下一步就行了https://docs.a
阅读全文
