摘要:
当前RAG多数只让模型基于检索内容回答,其实限制了模型自身知识压缩形成的智能。既要事实性又要模型智能,需要最大化使用模型内化到参数中的信息,只在必要时调用外部知识,这里介绍前置和后置处理的几种方案~ 阅读全文
摘要:
话接上文的召回多样性优化,这一章我们唠唠召回的信息密度和质量。同样参考经典搜索和推荐框架,这一章对应排序+重排环节。我们先对比下经典框架和RAG的异同,再分别介绍几种适用大模型的排序和重排方案~ 阅读全文
摘要:
看完openai闭门会议对RAG又有些新的思考。这一章我们参考主流的搜索框架,结合新老论文,和langchain新功能聊聊RAG框架中召回多样性的优化方案,包括如何提高query多样性和索引多样性 阅读全文
摘要:
这一章我们聊聊大模型在数据分析领域的应用。数据分析主要是指在获取数据之后的数据清洗,数据处理,建模,数据洞察和可视化的步骤。这里我们聊两篇论文:Data-Copilot 和 InsightPilot 阅读全文
摘要:
前四章不论是和数据库和模型还是和搜索引擎交互,更多还是大模型和人之间的交互。这一章我们来唠唠只有大模型智能体的世界!分别基于源码介绍斯坦福小镇和Chatdev两篇论文 阅读全文
摘要:
这一章介绍通过扩写,改写,以及回译等半监督样本挖掘方案对种子样本进行扩充,提高种子指令样本的多样性和复杂度,这里我们分别介绍Microsoft,Meta和IBM提出的三个方案。 阅读全文
摘要:
总结下指令微调、对齐样本筛选相关的方案包括LIMA,LTD等。论文都是以优化指令样本为核心,提出对齐阶段的数据质量优于数量,少量+多样+高质量的对齐数据,就能让你快速拥有效果杠杠的模型 阅读全文
摘要:
这一章我们来唠唠大模型和DB数据库之间的交互方案,除了基于Spider数据集的SOTA方案DIN之外,还会介绍两个改良方案C3和SQL-Palm,以及更贴合实际应用的大规模复杂SQL数据集BIRD。 阅读全文
摘要:
本章介绍如何和搜索引擎进行交互的LLM Agent设计,主要包含以下几个模块:搜索改写,事实抽取,聚合推理,行为交互。我们会以WebCPM为基础,同时介绍WebGPT,WebGLM的异同 阅读全文
摘要:
本章介绍基于模型微调,支持任意多工具组合调用,复杂工具调用的方案。工具调用的核心是3个问题:在哪个位置使用工具,使用什么工具,如何生成调用语句 - Gorilla & Toolformer 阅读全文