摘要: 经过上一篇教程,我们已经成功构建出全本地的问答检索功能,现在我们需要通过api访问云服务器,并且使用fastapi定义一个接口,从而使功能可以通过api被访问。 在/root/autodl-tmp路径下新建api-Langchain-withUser.py文件 from typing import 阅读全文
posted @ 2024-07-10 15:08 YTARO 阅读(108) 评论(0) 推荐(0) 编辑
摘要: 经过前三篇教程,我们已经做好了大部分的准备了,现在试着将LLM、Embeddings模型、向量数据库整合起来。 在/root/autodl-tmp目录下新建testQAChain.py文件: from glm4LLM import ChatGLM4_LLM from langchain_core.p 阅读全文
posted @ 2024-07-10 15:01 YTARO 阅读(133) 评论(0) 推荐(0) 编辑
摘要: 在设置好embedding模型后,我们就可以对数据集进行embeddings处理了。注意在处理之前要先对数据进行清洗。方便进行后续分割的过程。 LangChain提供了多种格式的数据集处理方式。本文以pdf为例: 在/root/autodl-tmp路径下新建datasetPDF.py文件 from 阅读全文
posted @ 2024-07-10 14:51 YTARO 阅读(386) 评论(0) 推荐(0) 编辑
摘要: BGE-M3 是第一个具有多功能、多语言和多粒度特性的文本检索模型。 多功能:可以同时执行三种检索功能:单向量检索、多向量检索和稀疏检索。 多语言:支持100多种工作语言。 多粒度:它能够处理不同粒度的输入,从短句子到长达8192个词汇的长文档。 为了构建RAG应用,我们需要用到向量数据库和embe 阅读全文
posted @ 2024-07-10 14:38 YTARO 阅读(231) 评论(0) 推荐(0) 编辑
摘要: 第一篇介绍了如何配置最基本的环境并下载了GLM-4-9B-Chat到本地,接下来我们试着将GLM-4-9B-Chat接入LangChain。 LangChain 是一个基于大型语言模型(LLM)开发应用程序的框架。 LangChain 简化了LLM应用程序生命周期的每个阶段: 开发:使用 LangC 阅读全文
posted @ 2024-07-10 14:20 YTARO 阅读(276) 评论(0) 推荐(0) 编辑
摘要: 2024/7/19更新:由于GLM4在2024/7/16发布了新的更新,所以在这之后下载到本地的模型在依赖搭建时需要依照新版本的规定进行安装 # 升级pip python -m pip install --upgrade pip # 更换 pypi 源加速库的安装 pip config set gl 阅读全文
posted @ 2024-07-10 14:00 YTARO 阅读(249) 评论(0) 推荐(0) 编辑