合集-LLM

摘要：

1. 详细步骤 1.1 拉取源码 # 确保网络通畅 git clone --recursive https://github.com/li-plus/chatglm.cpp.git && cd chatglm.cpp 1.2 模型转换/量化 1.2.1 安装所需 Python 依赖 torch pi 阅读全文

posted @ 2024-10-01 01:25 宇宙有只AGI 阅读(256) 评论(0) 推荐(0) 编辑

llama.cpp 安装使用（支持CPU、Metal及CUDA的单卡/多卡推理）

摘要：

1. 详细步骤 1.1 安装 cuda 等 nvidia 依赖（非CUDA环境运行可跳过） # 以 CUDA Toolkit 12.4: Ubuntu-22.04/24.04(x86_64) 为例，注意区分 WSL 和 Ubuntu，详见 https://developer.nvidia.com/c 阅读全文

posted @ 2024-10-01 01:29 宇宙有只AGI 阅读(4168) 评论(0) 推荐(0) 编辑

Ollama 安装、运行大模型（CPU 实操版）

摘要：

1. 操作步骤 1.1 安装 # 通过 homebrew 安装 brew install ollama 1.2 验证（可跳过） # 输出命令使用提示则安装成功 ollama --help 1.3 启动服务端 # 启动 ollama 服务（默认在 11434 端口，模型文件在 ~/.ollama） o 阅读全文

posted @ 2024-10-01 01:32 宇宙有只AGI 阅读(1663) 评论(0) 推荐(0) 编辑

迁移 ollama 模型文件到新机器（支持离线运行）

摘要：

1. 详细步骤以qwen2.5:0.5b-instruct-fp16为例 1.1 迁移 manifests 文件 # 本地机器 # 查看 manifests 下的配置文件 more ~/.ollama/models/manifests/registry.ollama.ai/library/qwen 阅读全文

posted @ 2024-10-01 01:34 宇宙有只AGI 阅读(3584) 评论(0) 推荐(0) 编辑

Ollama WebUI 安装使用（pip 版）

摘要：

Open WebUI (Formerly Ollama WebUI) 也可以通过 docker 来安装使用 1. 详细步骤 1.1 安装 Open WebUI # 官方建议使用 python3.11（2024.09.27），conda 的使用参考其他文章 conda create -n open-w 阅读全文

posted @ 2024-10-01 01:36 宇宙有只AGI 阅读(1799) 评论(0) 推荐(0) 编辑