摘要: Toolkits用途 toolkit提供了预定义工具集合,专注于某些特定服务,比如数据库查询、文件处理、Python 代码执行、网络爬虫等任务。这些工具集为 Agent 提供了更高层次的抽象,简化了工具的使用过程。 常见的 Toolkit SQLDatabaseToolkit:使用场景主要是要通过自 阅读全文
posted @ 2025-01-19 15:08 我刀呢? 阅读(2) 评论(0) 推荐(0) 编辑
摘要: 增加memory的方法 给langchain的内置agent增加memory,本方法首先通过 ConversationBufferMemory 实例化并传递到 initialize_agent 的 memory 参数中,从而实现对话记忆的功能,还使用MessagePlaceHolder,该方法可以将 阅读全文
posted @ 2025-01-05 15:47 我刀呢? 阅读(15) 评论(0) 推荐(0) 编辑
摘要: 人工智能代理(agent)不仅会改变每个人与计算机交互的方式,还会颠覆整个软件行业。不需要任何不同的单独软件,使用日常语言命令设备,代理是人工智能的高级形式,本质上Agents是一个LLM的编排与执行系统。 在langchain中Agents的实现主要分为以下八个步骤,1. 提出需求/问题,2. 问 阅读全文
posted @ 2024-12-31 20:47 我刀呢? 阅读(17) 评论(0) 推荐(0) 编辑
摘要: 新版的langchain弃用了很多链的方法,但是保留了LLMChain链,使用者可以结合自身需求自用开发应用特定的链。本篇基于LLMChain,使用文档加载器,文档分割器,嵌入生成和向量存储,等方法构建问答链。 通过对LLMChain+PromptTemplate+RetrievalQA等进行链路组 阅读全文
posted @ 2024-11-24 10:30 我刀呢? 阅读(6) 评论(0) 推荐(0) 编辑
摘要: 新版langchain中已经弃用了LLMChain等内置链的组装和框架,取而代之的是使用 runables包中内置的类和方法 来构建更灵活的链,其中最主要的方法是RunablesSequence,RunnableLambda和RunnableMap。 一:RunnablesSenquence Run 阅读全文
posted @ 2024-10-28 20:14 我刀呢? 阅读(25) 评论(0) 推荐(0) 编辑
摘要: 1. 文本知识库的加载和分割 实现一个智能文档助手,基于已有知识库给向ai发起提问使ai能够基于知识库回答更加准确的答案,首先需要加载对应的文档,文档类型可以是docx,xlsx,md等格式。并且对文档进行分割,将其分割成一块一块的Document类型并转成list类型方便后续处理。 def get 阅读全文
posted @ 2024-10-21 20:09 我刀呢? 阅读(26) 评论(0) 推荐(0) 编辑
摘要: 文本向量化实现方式 在复杂的大模型中文本向量化有很多好处,比如提高检索速度,在大规模数据集上向量通过相似表示可以快速找到相似文本,在处理长文本和跨语言对齐等任务上也可以减少很多开销。在langchain中可以从包langchain.embeddings.openai中可以引入方法OpenAIEmbe 阅读全文
posted @ 2024-10-11 19:55 我刀呢? 阅读(43) 评论(0) 推荐(0) 编辑
摘要: Lost in the middle:上下文长连接精度问题 使用langchain工具,实现上下文长连接精度匹配问题使用huggingface托管LLM做嵌入式处理,这里选择的模型是all-MiniLM-L6-v2。根据文本对问题的相关性返回文本块,对检索结果进行排序,问题相关性越低的内容放在中间, 阅读全文
posted @ 2024-10-08 17:07 我刀呢? 阅读(16) 评论(0) 推荐(0) 编辑
摘要: 文档转换器 将文档分成小的,有意义的语句块。将小的块组合成一个更大的块,直到达到一定大小。一旦达到一定大小,接着开始创建与下一个块重叠的部分。 1. 分割文档 文档分割可以使用langchain组件中的RecursiveCharacterTextSplitter方法,这是一种文本分割器。可以根据指定 阅读全文
posted @ 2024-09-08 16:25 我刀呢? 阅读(42) 评论(0) 推荐(0) 编辑
摘要: loader加载器的主要作用是加载各种格式的知识库给大模型进行学习,从而提升大模型在专业领域的能力,也是创建大模型agent开发的第一步。 TextLoader 在langchain中TaxtLoader加载器可以加载.md,.test等格式的文档,需要注意的是中文文档需要指明解析字符集格式。 #使 阅读全文
posted @ 2024-08-31 20:30 我刀呢? 阅读(38) 评论(0) 推荐(0) 编辑