通过历史记录运行本地模型

复制代码
from transformers import AutoTokenizer, AutoModel

modelPath = "/home/cmcc/server/model/chatglm3-6b"
tokenizer = AutoTokenizer.from_pretrained(modelPath, trust_remote_code=True)
model = AutoModel.from_pretrained(modelPath, trust_remote_code=True).half().cuda()
model.eval()
history = [
        {"role": "user", "content": "你好"},
        {"role": "assistant", "content": "我是人工智能助手,我叫小明"}
    ]
response, history = model.chat(tokenizer, "你好", history=history)
print(response)
response, history = model.chat(tokenizer, "你叫什么名字", history=history)
print(response)
复制代码

 

posted @   林**  阅读(11)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· 分享一个免费、快速、无限量使用的满血 DeepSeek R1 模型,支持深度思考和联网搜索!
· 使用C#创建一个MCP客户端
· ollama系列1:轻松3步本地部署deepseek,普通电脑可用
· 基于 Docker 搭建 FRP 内网穿透开源项目(很简单哒)
· 按钮权限的设计及实现
点击右上角即可分享
微信分享提示