梳理Langchain-Chatchat知识库API接口
摘要:一.Langchain-Chatchat 知识库管理 1.Langchain-Chatchat 对话和知识库管理界面 Langchain-Chatchat v0.28 完整的界面截图,如下所示: 2.知识库中源文件和向量库 知识库 test 中源文件和向量库的位置,如下所示: 3.知识库表结构 kn
阅读全文
posted @
2024-01-23 22:50
扫地升
阅读(5525)
推荐(2) 编辑
langchain中的Document类
摘要:在Langchain-Chatchat的上传文档接口(upload_docs)中有个自定义的docs字段,用到了Document类。根据发现指的是from langchain.docstore.document import Document。本文简要对Document类进行介绍。 1.上传文档接口
阅读全文
posted @
2024-01-22 00:28
扫地升
阅读(953)
推荐(0) 编辑
梳理Langchain-Chatchat-UI接口文档
摘要:在 Langchain-Chatchat v0.1.17 版本及以前是有前后端分离的 Vue 项目的,但是 v0.2.0 后就没有了。所以本文使用的是 Langchain-Chatchat v0.1.17 版本中的 Vue 项目。经过一番折腾终于将 Langchain-Chatchat v0.1.1
阅读全文
posted @
2024-01-01 23:35
扫地升
阅读(3933)
推荐(1) 编辑
Langchain-Chatchat项目:5.1-ChatGLM3-6B工具调用
摘要:在语义、数学、推理、代码、知识等不同角度的数据集上测评显示,ChatGLM3-6B-Base 具有在10B以下的基础模型中最强的性能。ChatGLM3-6B采用了全新设计的Prompt格式,除正常的多轮对话外。同时原生支持工具调用(Function Call)、代码执行(Code Interpret
阅读全文
posted @
2023-11-06 22:33
扫地升
阅读(2644)
推荐(0) 编辑
Langchain-Chatchat项目:4.2-P-Tuning v2使用的数据集
摘要:本文主要介绍P-tuning-v2论文中的5种任务,分别为Glue任务、NER任务、QA任务、SRL任务、SuperGlue任务,重点介绍了下每种任务使用的数据集。 一.Glue任务 GLUE(General Language Understanding Evaluation)是纽约大学、华盛顿大学
阅读全文
posted @
2023-11-03 23:06
扫地升
阅读(568)
推荐(0) 编辑
Langchain-Chatchat项目:4.1-P-Tuning v2实现过程
摘要:常见参数高效微调方法(Parameter-Efficient Fine-Tuning,PEFT)有哪些呢?主要是Prompt系列和LoRA系列。本文主要介绍P-Tuning v2微调方法。如下所示: Prompt系列比如,Prefix Tuning(2021.01-Stanford)、Prompt
阅读全文
posted @
2023-11-03 00:17
扫地升
阅读(1062)
推荐(0) 编辑
Langchain-Chatchat项目:3-Langchain计算器工具Agent思路和实现
摘要:本文主要讨论Langchain-Chatchat项目中自定义Agent问答的思路和实现。以"计算器工具"为例,简单理解就是通过LLM识别应该使用的工具类型,然后交给相应的工具(也是LLM模型)来解决问题。一个LLM模型可以充当不同的角色,要把结构化的Prompt模板写好,充分利用LLM的Zero/O
阅读全文
posted @
2023-10-07 23:29
扫地升
阅读(1600)
推荐(0) 编辑
Langchain-Chatchat项目:2.1-通过GPT2模型来检索NebulaGraph
摘要:在官方例子中给出了通过chain = NebulaGraphQAChain.from_llm(ChatOpenAI(temperature=0), graph=graph, verbose=True)来检索NebulaGraph图数据库。本文介绍了通过GPT2替换ChatOpenAI的思路和实现,暂
阅读全文
posted @
2023-10-07 23:29
扫地升
阅读(280)
推荐(0) 编辑
Langchain-Chatchat项目:1.2-Baichuan2项目整体介绍
摘要:由百川智能推出的新一代开源大语言模型,采用2.6万亿Tokens的高质量语料训练,在多个权威的中文、英文和多语言的通用、领域benchmark上取得同尺寸最佳的效果,发布包含有7B、13B的Base和经过PPO训练的Chat版本,并提供了Chat版本的4bits量化。 一.Baichuan2模型 B
阅读全文
posted @
2023-10-07 23:28
扫地升
阅读(987)
推荐(0) 编辑
Langchain-Chatchat项目:1.1-ChatGLM2项目整体介绍
摘要:ChatGLM2-6B是开源中英双语对话模型ChatGLM-6B的第2代版本,引入新的特性包括更长的上下文(基于FlashAttention技术,将基座模型的上下文长度由ChatGLM-6B的2K扩展到了32K,并在对话阶段使用8K的上下文长度训练);更高效的推理(基于Multi-QueryAtte
阅读全文
posted @
2023-10-07 23:28
扫地升
阅读(461)
推荐(0) 编辑
Langchain-Chatchat项目:1-整体介绍
摘要:基于Langchain与ChatGLM等语言模型的本地知识库问答应用实现。项目中默认LLM模型改为THUDM/chatglm2-6b[2],默认Embedding模型改为moka-ai/m3e-base[3]。 一.项目介绍 1.实现原理 本项目实现原理如下图所示,过程包括加载文件->读取文本->文
阅读全文
posted @
2023-10-07 23:27
扫地升
阅读(2071)
推荐(0) 编辑