随笔分类 - LLM
大语言模型相关
摘要：简介 本文介绍（经过多次踩坑摸索出来的）在 Windows 系统、AMD Radeon 680M 核显上运行 llama.cpp 的方法。 Radeon 680M 是 AMD Ryzen 6000 系列移动处理中的中高端型号（7、9）搭载的核显： Ryzen 7 6800U: 2200 MHz Ry
阅读全文
摘要：简介 GitHub Copilot 已经出来很长时间了。该服务收费且在国内连接不够稳定，延迟也比较高。目前大语言模型生态蓬勃发展，已经诞生了一批专精于代码生成的大模型，例如： https://huggingface.co/mistralai/Codestral-22B-v0.1 https://hu
阅读全文
摘要：今天尝试本地部署了 Qwen2-72B-Instruct-GPTQ-Int4 模型，这里记录一下操作的过程。 参考： https://qwen.readthedocs.io/zh-cn/latest/deployment/vllm.html https://docs.vllm.ai/en/stabl
阅读全文
摘要：SakuraLLM 是一款适配轻小说和 GalGame 的日中翻译大语言模型。 该项目的使用文档主要面向 Windows 用户，然而，大多数 GPU 服务器都运行 Linux 系统。本文将简单介绍在 Unbutu 系统中运行 SakuraLLM 的过程。 本文使用的软硬件环境如下： 系统：Ubunt
阅读全文
摘要：前言 今年不少国产大模型在打价格战，有些小模型甚至免费提供 API 使用。gpt-4o-mini 的推出更是击穿了大模型 API 的底价。未来预计会出现更强大、更便宜的模型。 笔者使用 Zotero 的论文翻译插件 zotero-pdf-translate 也有一段时间了，但长期以来一直使用 Goo
阅读全文
