摘要: 安装系统环境为:Debian 或 Ubuntu。 安装命令 git clone --depth=1 https://github.com/ggerganov/llama.cpp cd llama.cpp cmake -Bbuild cmake --build build -D... cd build 阅读全文
posted @ 2024-08-20 09:58 立体风 阅读(395) 评论(0) 推荐(0) 编辑
摘要: 🤔 在 Git 中,使用“fetch”而不是“download”表示“获取”或“下载”,有几个原因: 历史背景:Git 是由 Linux 的创始人 Linus Torvalds 创建的,并且“fetch”一词在 Git 的早期版本中已经使用过。据信,这是受到 Unix 命令 fetchmail 的 阅读全文
posted @ 2024-08-20 09:26 立体风 阅读(106) 评论(0) 推荐(0) 编辑
摘要: gguf格式下,各种量化方法后的支持情况,及运行速度 Library CPU (AVX2) CPU (ARM NEON) Metal cuBLAS rocBLAS SYCL CLBlast Vulkan Kompute K-quants ✅ ✅ ✅ ✅ ✅ ✅ ✅ 慢 ✅慢 ✅ I-quants ✅ 阅读全文
posted @ 2024-08-20 09:19 立体风 阅读(55) 评论(0) 推荐(0) 编辑
摘要: 安装 huggingface-cli First, make sure you have hugginface-cli installed: pip install -U "huggingface_hub[cli]" 概论 Then, you can target the specific file 阅读全文
posted @ 2024-08-20 09:00 立体风 阅读(189) 评论(0) 推荐(0) 编辑