宇宙有只AGI - 博客园

摘要：

1. 安装安装 anaconda（包含 python 和 pip 等，支持创建及管理多个 python 虚拟环境）注：miniconda 可能也可以，但是没用过，优先 anaconda 1.1 linux 1.1.1 ubuntu Mac、Windows 及其他 Linux 系统类似注：一般不阅读全文

posted @ 2024-10-04 03:16 宇宙有只AGI 阅读(154) 评论(0) 推荐(0) 编辑

[置顶] llama.cpp 安装使用（支持CPU、Metal及CUDA的单卡/多卡推理）

摘要：

1. 详细步骤 1.1 安装 cuda 等 nvidia 依赖（非CUDA环境运行可跳过） # 以 CUDA Toolkit 12.4: Ubuntu-22.04/24.04(x86_64) 为例，注意区分 WSL 和 Ubuntu，详见 https://developer.nvidia.com/c 阅读全文

posted @ 2024-10-01 01:29 宇宙有只AGI 阅读(309) 评论(0) 推荐(0) 编辑

[置顶] Xinference 安装使用（支持CPU、Metal、CUDA推理和分布式部署）

摘要：

1. 详细步骤 1.1 安装 # CUDA/CPU pip install "xinference[transformers]" pip install "xinference[vllm]" pip install "xinference[sglang]" # Metal(MPS) pip inst 阅读全文

posted @ 2024-10-01 01:19 宇宙有只AGI 阅读(367) 评论(0) 推荐(0) 编辑

2024年10月

docker 安装使用（Ubuntu 简单实操版）

摘要： 1. 详细步骤 1.1 安装 sudo apt update sudo apt install docker.io 1.2 验证（可跳过） docker -v 1.3 使用 1.3.1 拉取镜像 # 镜像源，如使用腾讯云服务器，可使用 https://mirror.ccs.tencentyun.co 阅读全文

posted @ 2024-10-04 03:25 宇宙有只AGI 阅读(35) 评论(0) 推荐(0) 编辑

CUDA Toolkit 安装记录（nvcc -V 可查）

摘要：目前通过 runfile(local) 方式安装，最终 nvcc -V 看到的版本有偏差（安装12.4，显示12.0），但不影响使用 llama-factory, llama.cpp 等使用（llama-cpp-python 的 cuda 版本会安装失败，原因尚未深究）如果需要 nvcc -V 阅读全文

posted @ 2024-10-04 03:22 宇宙有只AGI 阅读(87) 评论(0) 推荐(0) 编辑

Homebrew 安装使用

摘要：

支持绝大部分系统软件服务的安装，如 ollama, ffmpeg, mysql 等在非 root 用户下安装使用，mac 和 linux(ubuntu) 上都可以使用 1. 操作步骤 1.1 确认 curl 和 git 是否已安装（可跳过） # 分别查看是否安装 curl 和 git（输出版本号则阅读全文

posted @ 2024-10-04 03:20 宇宙有只AGI 阅读(40) 评论(0) 推荐(0) 编辑

ubuntu 镜像源配置

摘要：

1. 详细步骤 1.1 查看源文件位置（可跳过） # 传统格式 more /etc/apt/sources.list # DEB822 格式 more /etc/apt/sources.list.d/ubuntu.sources 注：后续步骤都以传统格式的 /etc/apt/sources.list 阅读全文

posted @ 2024-10-04 02:56 宇宙有只AGI 阅读(306) 评论(0) 推荐(0) 编辑

pypi 镜像源配置

摘要：

1. 详细步骤 1.1 常用镜像源列表官方：https://pypi.org/simple 清华：https://pypi.tuna.tsinghua.edu.cn/simple 阿里：https://mirrors.aliyun.com/pypi/simple/ 百度：https://mirro 阅读全文

posted @ 2024-10-04 02:56 宇宙有只AGI 阅读(42) 评论(0) 推荐(0) 编辑

homebrew 镜像源配置

摘要：

1. 详细步骤 1.1 临时使用因为长期设置不知道为什么，可能会有不生效的情况，所以发现好像卡着没有走清华源的时候，可以临时使用 # 设置清华镜像源：五行一起拷贝执行 export HOMEBREW_API_DOMAIN="https://mirrors.tuna.tsinghua.edu.cn 阅读全文

posted @ 2024-10-04 02:55 宇宙有只AGI 阅读(81) 评论(0) 推荐(0) 编辑

conda 镜像源配置

摘要：

1. 详细步骤 1.1 Windows 用户操作（其他操作系统可跳过） conda config --set show_channel_urls yes 1.2 配置文件编辑 # vim ~/.condarc # 输入以下内容 channels: - defaults show_channel_ur 阅读全文

posted @ 2024-10-04 02:53 宇宙有只AGI 阅读(90) 评论(0) 推荐(0) 编辑

Ollama WebUI 安装使用（pip 版）

摘要：

Open WebUI (Formerly Ollama WebUI) 也可以通过 docker 来安装使用 1. 详细步骤 1.1 安装 Open WebUI # 官方建议使用 python3.11（2024.09.27），conda 的使用参考其他文章 conda create -n open-w 阅读全文

posted @ 2024-10-01 01:36 宇宙有只AGI 阅读(319) 评论(0) 推荐(0) 编辑

迁移 ollama 模型文件到新机器（支持离线运行）

摘要：

1. 详细步骤以qwen2.5:0.5b-instruct-fp16为例 1.1 迁移 manifests 文件 # 本地机器 # 查看 manifests 下的配置文件 more ~/.ollama/models/manifests/registry.ollama.ai/library/qwen 阅读全文

posted @ 2024-10-01 01:34 宇宙有只AGI 阅读(583) 评论(0) 推荐(0) 编辑

公告