摘要: 基础RAG实现,最佳入门选择(十二) 自适应检索助力增强型RAG系统 实现一个自适应检索系统,该系统可根据查询类型动态选择最合适的检索策略。这种方法显著提升RAG系统针对各种不同问题提供准确且相关回复的能力。 不同的问题需要不同的检索策略: 对查询类型进行分类(事实型、分析型、观点型或上下文型) 选择合适的检索策略 执行专门的检索技术 阅读全文
posted @ 2025-06-27 15:47 舒一笑不秃头 阅读(1) 评论(0) 推荐(0)
摘要: 工作流引擎技术方案<第一版> 现流行AI工作流引擎技术方案与实现方式调研 n8n 前端技术栈 核心流程图库:Vue Flow 图形布局引擎:Dagre 拖拽功能:Vuedraggable n8n 的流程图绘制技术栈是: Vue Flow(核心) + Dagre(布局) + Vuedraggable(拖拽) + Vue 3 Com 阅读全文
posted @ 2025-06-27 10:40 舒一笑不秃头 阅读(2) 评论(0) 推荐(0)
摘要: RAG中的反馈循环 实现一个带有反馈循环机制的RAG系统,该机制随着时间的推移不断改进。通过收集和整合用户反馈,系统学会了在每次交互中提供更相关和更高质量的响应。传统的RAG系统是静态的——它们仅基于嵌入相似性来检索信息。通过反馈循环,创建了一个动态系统: -记住什么有效(什么无效) -随着时间的推 阅读全文
posted @ 2025-06-25 18:02 舒一笑不秃头 阅读(1) 评论(0) 推荐(0)
摘要: RAG系统的上下文压缩 一种上下文压缩技术来提高我们RAG系统的效率。将过滤和压缩检索到的文本块,以仅保留最相关的部分,减少噪音并提高响应质量。 在为RAG检索文档时,经常会得到包含相关和不相关信息的块。上下文压缩帮助我们: -删除不相关的句子和段落 -只关注与查询相关的信息 -最大化我们上下文窗口 阅读全文
posted @ 2025-06-25 17:29 舒一笑不秃头 阅读(1) 评论(0) 推荐(0)
摘要: 基础RAG实现,最佳入门选择(九) RAG的相关段提取(RSE) 相关段提取(RSE)技术来提高RAG系统中的上下文质量。不是简单地检索孤立块的集合,而是识别和重建连续的文本段,为我们的语言模型提供更好的上下文。 关键概念 相关的块往往在文档中聚集在一起。通过识别这些集群并保持它们的连续性,我们为LLM提供了更连贯的上下文来使用。 在 阅读全文
posted @ 2025-06-25 16:57 舒一笑不秃头 阅读(3) 评论(0) 推荐(0)
摘要: 工作流会使用到Webhook是什么 什么是 Webhook? Webhook 是一种事件驱动的轻量级通信,可通过 HTTP 在应用之间自动发送数据。Webhook 由特定事件触发,可自动实现 应用编程接口(API)之间的通信,并可用于激活工作流,例如在 GitOps 环境中。 Webhook 可以将事件源连接到自动化解决方案,因此,它 阅读全文
posted @ 2025-06-24 23:31 舒一笑不秃头 阅读(2) 评论(0) 推荐(0)
摘要: 基础RAG实现,最佳入门选择(八) RAG重排序 RAG重排序技术以提高RAG系统中的检索质量。重新排序充当初始检索后的第二个过滤步骤,以确保最相关的内容用于响应生成。 重排序的关键概念 1.初始检索:使用基本相似度搜索的第一遍(准确度较低但速度更快) 2.文档评分:评估每个检索到的文档与查询的相关性 3.重新排序:按相关性分数对文档 阅读全文
posted @ 2025-06-21 17:34 舒一笑不秃头 阅读(1) 评论(0) 推荐(0)
摘要: 基础RAG实现,最佳入门选择(七) 本文介绍了一种增强型RAG系统,采用三种查询转换技术提升检索性能:1)查询重写技术使查询更加具体详细;2)退步提示生成更宽泛的背景性问题;3)子查询分解将复杂问题拆解为简单子问题。文章详细展示了各技术的Python实现代码,包括查询重写函数rewrite_query、退步提示函数generate_step_back_query和子查询分解函数decompose_query。同时介绍了PDF文本处理流程,包括文本提取函数extract_text_from_pdf和分块函数chunk_text,最后通过create_embeddings函数生成文本向量。这些方法无需依赖LangChain等专门库即可实现检索性能提升。 阅读全文
posted @ 2025-06-21 17:09 舒一笑不秃头 阅读(4) 评论(0) 推荐(0)
摘要: 基础RAG实现,最佳入门选择(六) 带有问题生成的文档增强RAG 通过问题生成使用文档增强来实现增强的RAG方法。通过为每个文本块生成相关问题,改进了检索过程,从而从语言模型中获得更好的响应。 具体实现步骤 1.数据摄取:从PDF文件中提取文本。 2.chunking:将文本拆分为可管理的块。 3.问题生成:为每个块生成相关问题。 4 阅读全文
posted @ 2025-06-20 22:22 舒一笑不秃头 阅读(3) 评论(0) 推荐(0)
摘要: 基础RAG实现,最佳入门选择(五) 上下文标头在RAG中使用 增强生成(RAG)通过在生成响应之前检索相关的外部知识来提高语言模型的事实准确性。然而,标准组块经常丢失重要的上下文,使得检索不太有效。上下文块标头(CCH)通过在嵌入每个块之前为每个块添加高级上下文(如文档标题或部分标头)来增强RAG。这提高了检索质量并防止了断章取义的响 阅读全文
posted @ 2025-06-20 21:45 舒一笑不秃头 阅读(4) 评论(0) 推荐(0)