通过历史记录运行本地模型
from transformers import AutoTokenizer, AutoModel modelPath = "/home/cmcc/server/model/chatglm3-6b" tokenizer = AutoTokenizer.from_pretrained(modelPath, trust_remote_code=True) model = AutoModel.from_pretrained(modelPath, trust_remote_code=True).half().cuda() model.eval() history = [ {"role": "user", "content": "你好"}, {"role": "assistant", "content": "我是人工智能助手,我叫小明"} ] response, history = model.chat(tokenizer, "你好", history=history) print(response) response, history = model.chat(tokenizer, "你叫什么名字", history=history) print(response)
· 分享一个免费、快速、无限量使用的满血 DeepSeek R1 模型,支持深度思考和联网搜索!
· 使用C#创建一个MCP客户端
· ollama系列1:轻松3步本地部署deepseek,普通电脑可用
· 基于 Docker 搭建 FRP 内网穿透开源项目(很简单哒)
· 按钮权限的设计及实现