Langchain-Chatchat 接入 glm4

llm的接入: https://blog.csdn.net/orientharp/article/details/139884688

embedding模型的接入: https://inference.readthedocs.io/zh-cn/latest/models/builtin/embedding/bge-large-zh-v1.5.html    ,  模型注册仿照llm的模型注册;

 

langchain的接入:https://github.com/chatchat-space/Langchain-Chatchat?tab=readme-ov-file

 

chatchat 模型接入:(自定义模型的话不用这种方式)

llm:chatchat-config model --default_llm_model qwen2-instruct

embedding:  同上

 

初始化:

chatchat-kb -r

. 启动项目

chatchat -a
 
xinference 相关指令:
https://inference.readthedocs.io/zh-cn/latest/getting_started/using_xinference.html
posted @ 2024-06-28 18:09  小丑_jk  阅读(66)  评论(0编辑  收藏  举报