LangChain内幕指南

1.概述

在人工智能迅速演进的时代，诸如Open AI的ChatGPT和Google的Bard等大型语言模型(LLMs)正彻底改变我们与技术互动的方式。这些技术巨头和SaaS公司正在竞相利用LLMs的威力，创造更为智能和实用的应用程序。然而，真正的变革并非仅仅停留在这些独立运行的人工智能模型，而是蕴藏在它们与其他工具、插件以及知识库相互融合的时刻。正是在这个潮流中，LangChain崭露头角——这个前沿框架旨在为语言模型赋予超能力，重新定义了在人工智能领域的可能性边界。本文将深入解析LangChain的重要性，揭示它为企业将LLMs整合到其软件中提供的看似神奇的能力，并展望LangChain是如何在人工智能的世界中改变游戏规则的。

2.内容

在人工智能领域，'LangChain'这个名字融合了'Lang'（代表语言）和'Chain'（代表链接或串联），象征着将不同元素链接（或串联）起来，创造围绕这些LLMs的先进应用程序。在这里，我们将深入探讨构成LangChain骨干功能的几个关键概念。这些概念不仅仅是技术术语，更代表了LangChain用于实现其所有魔力的独特策略和技术。

注意： 从现在开始，当你看到“model”一词时，知道我们指的是类似OpenAI的GPT-4这样的LLM。而当你看到“prompting”时，这是指通过询问特定问题或提出某些陈述来“与模型交流”的方式。

2.1 LangChain的关键概念

2.1.1 思维链（CoT）

思维链就像一个语言模型在大声思考，提供其思考过程的逐步分解。这是一种促使模型生成一系列中间推理步骤的提示技术，使其认知过程一览无余。这就像与模型进行对话，让它解释其推理过程，使其成为需要复杂问题解决的任务更有效的工具。

2.1.2 行动计划生成

这是一种提示技术，利用语言模型生成要采取的行动。这些行动的结果可以反馈到语言模型中生成后续的行动。这就像与模型进行动态对话，它建议行动，然后根据这些行动的结果做出反应。这使模型更具交互性和响应性，能够适应变化的情况和要求。

2.1.3 ReAct（推理与行动）

ReAct是思维链和行动计划生成的完美结合。它不仅是模型建议行动，更关乎行动背后的“为什么”。这涉及到模型花时间思考、推理，然后行动。这创造了与模型更为有深度的对话，使你的交互不仅仅是一系列命令和响应，而是一场动态的对话。

2.1.4 自问自答

想象一下一个语言模型不仅仅是对提示的回应，而且主动向自己提出跟进问题。这就是自问自答。这是一种提示方法，鼓励模型在内部更主动、好奇。这些问题不是面向用户或外部实体，而是在模型“头脑中”引导生成后续响应。这将模型从被动回应者转变为主动学习者，使其在需要探索和学习或当模型不知道正确答案时更为有效。

2.1.5 提示串联

这涉及将多个LLM调用结合起来，使一个步骤的输出成为下一个步骤的输入，从而创造出串联效果。就像进行接力赛一样，接力棒从一个跑步者传递到另一个，每个贡献者都推动团队整体进展。

2.1.6 模因代理

这个概念利用语言模型模拟知名人物或情境来塑造其响应。通过将讨论框架置于模型识别的上下文中，例如学生与老师之间的对话或向著名哲学家提出的道德问题，鼓励模型以特定方式响应。这种方法有效地编码了复杂的任务和对问题背景的假设，使模型更具适应性和响应性。这涉及将模型的响应调整到对话的上下文，并使用文化信息和众所周知的场景来引导模型的行为。

2.1.7 自洽性

这个概念通过创建多个解决方案并选择最一致的方案，使AI的响应更可靠。它有助于确保AI的答案合理且不互相矛盾，使其成为更值得信赖和可靠的工具。

2.1.8 Inception（第一人称指导）

这个概念通过在提示中包含模型响应的开始，鼓励模型以某种方式思考。它旨在引导模型的思考过程，使其成为在需要特定推理或方法的任务中更为有效的工具。例如，你可以让模型“给我讲个笑话，让它以“哈哈哈”开始”，其中以“哈哈哈”开始是你给出的指导性指令。

2.1.9 记忆提示

这个概念类似于一个从过去交互中学习的个人助手。它记录了当系统误解你的请求以及你提供的改进意见的情况。下一次你提出类似的问题时，记忆提示使用这个“记忆”来改进其响应。这是系统持续改进并适应你的需求的一种方式，使其随着时间更为可靠和有效。

2.1.10 记忆提示

这个概念类似于一个从过去交互中学习的个人助手。它记录了系统误解你请求以及你对如何做得更好的反馈。下一次你提出类似问题时，MemPrompt使用这个“记忆”来改进响应。这是系统不断改进并适应你需求的方式，使其随着时间变得更加可靠和有效。

到目前为止，我们已经深入探讨了构成LangChain基础的关键概念，这些是指导其操作的理论基础和创新的AI技术。这些概念提供了LangChain的“为什么”和“是什么” - 为什么它以这种方式工作，它的目标是什么。在这个过程中，我们不仅仅是看到LangChain的实现方式，还将了解它的组成部分，以及这些关键概念如何在实际应用中相互作用，为用户提供令人惊叹的体验。

2.2 理解推动系统能力的核心组件

深入了解LangChain的世界，我们遇到了其核心框架，一个经过精心设计的结构，将各种元素集结在一起，打造成一个强大的语言模型应用工具。该框架围绕两个主要理念构建：组件和用例特定链。

2.2.1 组件

组件是LangChain的构建模块，它们是汇聚在一起创建整体系统的个体元素。这些组件包括模型、提示、索引、记忆、链和代理。在LangChain生态系统中，每个组件都发挥着特定的作用，了解这些作用对于掌握LangChain的全部潜力至关重要。

2.2.2 用例特定链

另一方面，用例特定链是LangChain提供的“快速入门”解决方案。想想你想要构建什么，选择最符合你目标的链，然后从那里开始构建。它们是预构建的、定制的链，专为特定用例设计，如个人助手、聊天机器人、信息提取和摘要等，使其成为一个真正多才多艺的工具。

在接下来的部分中，我们将更详细地了解这些组件和用例特定链，揭示它们的作用、重要性以及它们如何共同努力，使LangChain成为一个强大的工具。做好准备，因为我们即将深入探讨LangChain的核心！

2.2.3 Schema（LangChain的蓝图）

Schema在LangChain中是指导数据解释和交互的基础结构。这非常类似于建筑的蓝图，勾勒出一切的位置和如何相互配合。

截至今天，与语言模型交互的主要界面是通过文本。这就是“文本输入，文本输出”概念发挥作用的地方。简单来说，LangChain中的许多模型都是基于这一原则运作的。你输入文本，模型处理它，然后输出文本。因此，理解Schema是基本的，因为它构建了LangChain如何结构和解释数据的基础。这就像在开始玩游戏之前设定游戏规则一样。

2.3 LangChain的引擎

迄今为止，我们已经多次提到模型，因为它们确实是推动LangChain功能的引擎。然而，值得更深入地挖掘一下，以更好地了解这些模型究竟有多重要。毕竟，它们处理所有的输入并生成所有的输出——没有它们，LangChain将无法存在。

LangChain使用三种主要类型的模型进行使用和交互：

2.3.1 大型语言模型（LLMs）

大型语言模型（LLMs）如OpenAI的GPT、Google的PaLM和META的LLaMA构成了LangChain的核心。通过在大量文本数据上进行训练，这些模型学习语言的模式和结构，以生成有意义的输出。它们处理语言输入并生成响应，实现动态和交互式语言应用。每个LLM都有其独特的优势，使它们成为LangChain生态系统中各种任务的多功能工具。

2.3.2 聊天模型

另一方面，聊天模型提供了一种更有结构的方法。尽管它们通常由语言模型支持，但与它们交互的方式更有结构。它们将消息列表作为输入，并返回一条消息作为输出。通常，输入列表中的每条消息都有两个属性：'role'和'content'。'role'通常由'system'、'user'或'assistant'组成，而'content'包含消息的文本。这正是ChatGPT的工作方式！这种定义明确的结构允许与LLM进行更微妙和互动的对话，并赋予它一种类似人类聊天的感觉。

重要的是要注意，虽然LLMs和聊天模型都用于生成文本，但关键区别在于它们处理输入和输出的方式。LLMs处理文本字符串，而聊天模型处理结构化的消息列表，使它们更适合进行交互式对话，如实时来回对话。

2.3.3 文本嵌入模型

LangChain利用的第三种也是最后一种模型组件是文本嵌入模型。文本嵌入模型有点像语言翻译器，但与其将一种语言翻译成另一种语言不同，它们将文本翻译成数字。它们将文本作为输入，将其转换为一系列数字（或'floats'），创建原始文本的数值表示并将其存储在数据库中。

将文本转换为数字的这种转换非常有用，因为它意味着模型现在可以访问文本在所谓的矢量数据库中的信息（想象一下一个三维空间，在这个空间的所有方向上LLM可以“思考和查看”——前进、后退、上升、下降、左移、右移、内部和外部）。这个四维数据库允许进行语义风格的搜索，其中看似不相关的文本片段可以在矢量空间中进行相似性比较。

简单来说，这是LLM从文本中获取含义的一种方式，而不需要人告诉它含义应该是什么。有趣的是，这有点类似于我们人类大脑的工作方式。我们将感官输入（文本）转换为电信号（数值）并存储在大脑中（矢量数据库）。

无论是LLM、聊天模型还是文本嵌入模型，它们都共同作为推动LangChain功能的引擎，理解它们是发挥系统全部潜力的关键。在其实际应用中，你可能会看到它们集成到一个聊天机器人中，最初，我们使用聊天模型处理用户输入并生成适当的响应。它调用LLM生成更微妙的响应。我们还使用文本嵌入模型将用户的输入（例如，他们的帮助文档、支持资源等）上传并转换为数值格式，存储在矢量数据库中。当聊天机器人需要检索相关信息时，它使用搜索工具有效地扫描矢量数据库并找到正确的答案。

2.4 Prompt在LangChain中的作用

或许你最近已经听说过“prompts”或“prompting”这个术语，因为提示在根本上是与LLMs进行交互的入口点。在最简单的术语中，提示是你输入到模型的问题或陈述。它们就像汽车的方向盘，引导模型朝着你想要的方向前进。当涉及到LangChain时，提示的使用由三个基本方面塑造，即Prompt模板、示例选择器和输出解析器。

2.4.1 Prompt模板

Prompt模板就像创建模型输入的食谱。这不仅仅是关于你问模型什么，而是关于你如何问它。提示模板可以引导模型以特定的方式呈现其响应，使输出对你的具体需求更有用。

使用这种“食谱”格式，一个提示可以包含对语言模型的具体指令，对模型的问题，甚至是一组“few-shot”示例（few-shot示例本质上是你提供给模型的一小组带有上下文的示例，帮助它理解你期望的响应类型）。

2.4.2 示例选择器

在这个功能中，LangChain引入了示例选择器。这些工具允许你在提示中包含示例。但与之前的固定示例不同，示例选择器根据用户输入动态选择它们，为提示增加了一层额外的适应性。

2.4.3 输出解析器

最后，我们有输出解析器。这些工具帮助构造模型的响应。它们指导模型如何格式化其输出，然后将这个输出转换为所需的格式。这可能是从模型的响应中提取特定信息，也可能是将响应转换成清晰、有序的数据表、图表，甚至编码语言。

让我们想象一个实际的场景。假设你是一名产品营销经理，想要使用你的LangChain驱动的应用程序为新产品生成一份潜在功能清单。你可以使用Prompt模板指导模型以项目列表的形式生成其想法。示例选择器可以根据你的输入动态选择示例，为模型的响应增添深度和相关性。而输出解析器可以将这些响应结构化成清晰、有序的格式，便于与团队进行审查和讨论。

简而言之，在LangChain中，提示充当导航辅助工具，引导与模型的对话，塑造其响应，并最大化其输出的实用性。它们既是蓝图，也是安全措施，将LangChain和LLMs转变为强大、灵活且量身定制的与语言模型互动的工具。

2.5 索引在LangChain中的作用

在庞大的数字图书馆LangChain中，索引就像一位知识渊博的图书管理员。它们高效地组织和检索信息，默默地在幕后工作，确保你与LangChain的交互是流畅而高效的。

2.5.1 文档加载器

想象一下，你在一家拥有成千上万本书的图书馆里，正在寻找一本特定的书。如果没有图书管理员或索引系统，这将是一项艰巨的任务。类似地，LangChain处理大量数据，如果没有索引，查找特定信息就像大海捞针。

在LangChain中，索引将文档结构化，使LLMs能够有效地与它们进行交互。这种交互通常涉及到“检索”步骤，类似于向图书管理员询问特定的书。图书管理员，或在这种情况下，索引，根据你的查询返回最相关的文档。

2.5.2 文本分割器

一旦图书（文档）在图书馆中，它们需要以有意义的方式进行组织。这就是文本分割器发挥作用的地方。它们将大块文本分解成更小、更易管理的部分。这类似于将一部长篇小说分成章节，使查找特定部分更容易。

这种分割的原因是由于语言模型的上下文窗口。语言模型一次只能考虑一定数量的文本，称为上下文窗口。通过将文本分割成较小的部分，我们确保语言模型能够有效地处理其上下文窗口内的信息，从而最大程度地提高结果的准确性和相关性。

2.5.3 向量存储

说到向量存储可能需要用到向量数据库。它们是LangChain中索引系统的核心。它们是依赖于embedding的最常见类型的索引。

如果我们的图书馆类比仍然成立，那么在向量存储中，embedding就像分配给每本书的唯一代码。这个代码或数值代表文档的内容，使其更容易与相关的查询匹配。

2.5.4 检索器

最后，我们有检索器，我们数字图书馆的图书管理员。它们是用于获取与语言模型组合的相关文档的接口。当查询进来时，检索器遍历索引，找到最相关的文档，并呈现它们供语言模型进一步处理。

在现实世界中，假设你是一位客户成功主管，正在使用LangChain分析客户反馈。反馈是丰富而多样的，就像图书馆中的书一样。借助索引的帮助，你可以快速检索与产品的特定功能相关的具体反馈。这种高效的信息检索使你能够更快地获取见解，做出基于数据的决策。

总的来说，你需要知道的是，LangChain中的索引是一种强大的工具，可以高效地结构化和检索数据。它们是确保你与LangChain的交互流畅、高效和高产的来源。

2.6 LangChain中记忆的关键作用

在LangChain的世界中，记忆在创造无缝互动体验方面起着至关重要的作用。就像人类的记忆一样，LangChain的记忆负责保留和回忆信息。

2.6.1 短时记忆

短时记忆就像一个记事本，你在其中记下需要短时间记住的事物。在LangChain中，短时记忆跟踪当前的对话。这就像记住刚刚在对话中说了什么，这对于理解上下文并做出适当的回应至关重要。

2.6.2 长时记忆

长时记忆就像一个长时间内积累的大量信息的图书馆。在LangChain中，长时记忆用于记住AI与用户在不同对话中的互动。这就像记住朋友的偏好或过去的经历，可以用来提供更个性化和相关的回应。

2.6.3 索引与记忆：目录系统与连续保持者

或许你会想知道，记忆与我们之前讨论过的索引或向量数据库的概念有何不同？这里有一个区别：

索引和向量数据库就像图书馆的目录系统一样，它们有助于高效地组织和检索文档。它们不记住互动的顺序，而是专注于为当前查询找到最相关的响应。

相反，记忆就像图书管理员的知识，它有助于记住过去的互动，并为将来的对话提供上下文。换句话说，根据先前的言论或提问理解上下文。

在现实世界中，假设你是一名产品经理，正在使用LangChain进行产品开发。你正在收集用户反馈以改进产品。借助LangChain的记忆功能，AI可以记住与每个用户的过去互动，根据他们的使用历史了解反馈的上下文，并对其建议或关切提供个性化的回应。这使你能够更深入地了解用户需求和偏好，帮助你更明智地做出有关产品改进的决策。

2.7 LangChain的编排系统

LangChain将迄今讨论的各种不同组件汇聚在一起，以创建一种与语言模型产生有意义和相关响应的交互。它们充当主导者，帮助创建一个紧密而可用的系统。

2.7.1 LangChain的定义

链条就像工厂里的生产线，每个组件执行特定的任务，最终产品是所有这些任务按照特定顺序执行的结果。有两种常见类型的链条，LLMChain和与索引相关的链条。

2.7.2 LLMChain

迄今为止，最常见的链条类型是LLMChain。它结合了我们迄今为止讨论的许多要素，其中包括：

• PromptTemplate：准备原材料（输入）
• Model（LLM或ChatModel）：处理这些材料
• Guardrails（可选）：确保最终产品符合要求标准的质量检查

你可以将LLMChains视为通常与模型进行交互和参与的默认方式。

2.7.3 与索引相关的LangChain

根据你的用例，您还将遇到与索引相关的LangChain。这些LangChain专门用于与索引进行交互，将您自己的数据（存储在索引中）与LLMs相结合。

有四种主要类型的与索引相关的LangChain，每种都具有处理多个文档的独特方法。让我们来详细了解：

1.Stuffing

这是最简单的方法，其中所有相关数据都“填充”到提示中作为上下文传递给语言模型。

• 优势： 仅对LLM进行一次调用。在生成文本时，LLM一次性访问所有数据。
• 劣势： 大多数LLMs都有上下文长度限制，对于大型文档（或许多文档），这种方法将无法工作，因为它会导致大于上下文长度的提示。

2.Map Reduce

此方法涉及在每个数据块上运行初始提示（对于摘要任务，这可能是该块的摘要；对于问答任务，这可能是仅基于该块的答案）。然后运行另一个提示以组合所有初始输出。

• 优势： 可以扩展到更大的文档（和更多文档）。对各个文档的LLM调用是独立的，因此可以同时进行。
• 劣势： 需要比Stuffing更多的对LLM的调用。在最终组合调用期间会丢失一些信息。

3.Refine

此方法涉及在第一个数据块上运行初始提示，生成一些输出。对于剩余的文档，将传递该输出以及下一个文档，要求LLM根据新文档调整输出。

• 优势： 可以引入更相关的上下文，可能比Map Reduce更准确。
• 劣势： 需要比Stuffing更多的对LLM的调用。这些调用也不是独立的，这意味着它们无法与Map Reduce同时进行。还有一些关于文档排序的潜在规则需要遵循。

4.Map-Rerank

此方法涉及在每个数据块上运行初始提示，该提示不仅尝试完成任务，还为其回答的确定程度打分。然后根据此分数对响应进行排名，并将最高分返回给您。

• 优势： 与Map Reduce相似的优势，尽管与Map Reduce相比，需要的调用较少。
• 劣势： 无法在文档之间组合信息。这意味着在您希望在单个文档中获得单一简单答案时最有用。

这些LangChain提供了一系列处理多个文档的选项，满足不同的需求和场景。无论你处理少量数据还是大型文档语料库，LangChain的与索引相关的链条都提供了一种灵活而高效的方式来与你的数据和LLMs进行交互。

2.8 代理

代理是LangChain中的自治实体，代表用户与生态系统中的其他代理和工具进行交互。它们是决策者，根据用户输入和目标选择要利用的工具。这种适应性和即时智能使代理成为处理复杂多步任务的关键组件。

2.8.1 代理的角色

在LangChain中，代理的角色就像交响乐团的指挥，协调各个组件以创建和谐的互动。它们负责解释用户输入，决定使用哪些工具，并管理系统内的信息流。这种适应性和智能使代理成为处理复杂多步任务的关键组件。

2.8.2 代理的类型

LangChain支持两种主要类型的代理：动作代理和计划执行代理。

1.动作代理

动作代理更传统，适用于小型任务。它们就像比赛中的短跑者，快速而专注于单一任务。

2.计划执行代理

计划执行代理更适用于复杂或长时间运行的任务。它们处理初始规划步骤，有助于保持长期目标和专注。它们就像马拉松选手，具有战略性和耐力性。

2.8.3 代理在实际场景中的应用

在现实场景中，代理可以以各种方式使用。例如，产品经理可以使用代理来分析客户反馈并生成见解。代理可能决定使用情感分析工具来了解反馈的整体情感，然后使用总结工具将反馈浓缩为关键要点。

同样，设计师可以使用代理根据用户输入生成设计思路。代理可能决定使用头脑风暴工具生成思路列表，然后使用排名工具根据特定标准对思路进行排序。

3.总结

在LangChain的世界中，我们探讨了系统的各个组成部分，从模型和提示到索引、记忆、链和代理。这个系统巧妙地利用这些组件，创造了一个强大的语言模型应用工具。模型是引擎，索引是高效的图书馆管理员，记忆是延续对话的守护者，链是协调器，而代理是决策者。

Prompt是与LLMs互动的入口，而索引则像图书馆的目录系统，帮助我们高效组织和检索信息。记忆分为短时记忆和长时记忆，使LangChain能够以连贯的方式处理对话，就像人类记忆一样。链则将所有组件有机地结合在一起，创建有意义且相关的模型响应。最后，代理是LangChain中的决策者，像交响乐团的指挥，协调各个组件，处理复杂多步任务。

这个全面而精致的系统展现了LangChain如何利用先进的语言模型技术，通过巧妙的设计和智能决策，为用户提供卓越的体验。

4.结束语

这篇博客就和大家分享到这里，如果大家在研究学习的过程当中有什么问题，可以加群进行讨论或发送邮件给我，我会尽我所能为您解答，与君共勉！

另外，博主出书了《Kafka并不难学》和《Hadoop大数据挖掘从入门到进阶实战》，喜欢的朋友或同学， 可以在公告栏那里点击购买链接购买博主的书进行学习，在此感谢大家的支持。关注下面公众号，根据提示，可免费获取书籍的教学视频。