10 2024 档案

大模型agent开发之chains
摘要：新版langchain中已经弃用了LLMChain等内置链的组装和框架，取而代之的是使用 runables包中内置的类和方法 来构建更灵活的链，其中最主要的方法是RunablesSequence,RunnableLambda和RunnableMap。 一：RunnablesSenquence Run 阅读全文
posted @ 2024-10-28 20:14 我刀呢？ 阅读(42) 评论(0) 推荐(0) 编辑
大模型agent开发之基于知识库的聊天机器人
摘要：1. 文本知识库的加载和分割 实现一个智能文档助手，基于已有知识库给向ai发起提问使ai能够基于知识库回答更加准确的答案，首先需要加载对应的文档，文档类型可以是docx,xlsx，md等格式。并且对文档进行分割，将其分割成一块一块的Document类型并转成list类型方便后续处理。 def get 阅读全文
posted @ 2024-10-21 20:09 我刀呢？ 阅读(38) 评论(0) 推荐(0) 编辑
大模型agent开发之文本向量化
摘要：文本向量化实现方式 在复杂的大模型中文本向量化有很多好处，比如提高检索速度，在大规模数据集上向量通过相似表示可以快速找到相似文本，在处理长文本和跨语言对齐等任务上也可以减少很多开销。在langchain中可以从包langchain.embeddings.openai中可以引入方法OpenAIEmbe 阅读全文
posted @ 2024-10-11 19:55 我刀呢？ 阅读(78) 评论(0) 推荐(0) 编辑
大模型agent开发之上下文长处理
摘要：Lost in the middle:上下文长连接精度问题 使用langchain工具，实现上下文长连接精度匹配问题使用huggingface托管LLM做嵌入式处理，这里选择的模型是all-MiniLM-L6-v2。根据文本对问题的相关性返回文本块，对检索结果进行排序，问题相关性越低的内容放在中间， 阅读全文
posted @ 2024-10-08 17:07 我刀呢？ 阅读(30) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示