摘要:一、安装CudaToolkit 使用控制台命令查看当前显卡驱动中的cuda版本 nvidia-smi 二、下载CudaToolkit 注意:CudaToolkit版本要低于上面的显卡Cuda版本。 Cuda各版本下载地址:https://developer.nvidia.com/cuda-toolk
阅读全文
摘要:1.环境 本文以centos7.9安装ollama为例 2.下载ollama安装包 官网地址:https://ollama.com/download/linux GitHub手动安装文档地址:https://github.com/ollama/ollama/blob/main/docs/linux.
阅读全文
摘要:常用属性设置 OLLAMA_HOST=0.0.0.0 解决外网访问问题 OLLAMA_MODELS=E:\ollamamodels 解决windows模型默认下载C 盘的问题 OLLAMA_MODELS=/opt/app/middles/ollama/models 指定linux模型存储位置 OLL
阅读全文
摘要:ollama常用命令 1.启动ollama服务 ollama serve 2.创建模型 (create) 使用 Modelfile 来创建一个新模型。你需要提供一个包含模型信息的 Modelfile。 ollama create /path/to/Modelfile 3.显示模型信息 (show)
阅读全文