摘要：探索 LangGraph、LangChain、LangFlow 和 LangSmith 之间的关键区别，了解哪种框架最适合您的语言模型应用——从工作流构建到性能监控。 近年来，自然语言处理（NLP）领域见证了可用于构建基于语言模型的应用程序的框架、库和工具数量的激增。在这些工具中，LangGraph 阅读全文

摘要：转：https://www.cnblogs.com/boydfd/p/18791215 背景 自ChatGPT诞生以来，各个企业都开始尝试引入LLM落地实施“智能”应用，而目前并没有太多文章系统地介绍应该怎么落地实施一个基于LLM的应用，到底应该做哪些步骤。本人从2023年12月份开始，陆陆续续开发 阅读全文

摘要：在训练大语言模型时，大家可能会搞混以下几个概念，下面做一个详细的对比区分： 概念 Pre-training（预训练） Post-training（后训练） Continue Training（持续训练）定义 预训练是指在模型的初始阶段，使用大量数据对模型进行训练，以便让模型学习到通用的特征和知识。这 阅读全文

摘要：CRAG（Corrective Retrieval Augmented Generation）是一种纠错检索增强生成方法，其主要步骤如下： 1. 检索阶段 用户输入查询 ：用户向系统输入一个查询请求，例如“艾萨克·牛顿是如何发现万有引力的？”。 检索器检索文档 ：系统中的检索器根据用户查询从预设的知 阅读全文

摘要：湖仓架构与概念在北美大火，多家科技巨头纷纷跟进 01 今年众多的 AI 交易中，有如下两笔交易： 6月4日，Databricks 宣布收购最火的数据湖表格式 Apache Iceberg 背后的商业机构 Tabular，Databricks 表示最终的交易价格将在 10 亿美元以上。 6月21日，O 阅读全文

摘要：反幻觉（Anti-Hallucination）的核心目标 问题本质：生成模型（如大语言模型）可能虚构信息（幻觉），需通过技术手段约束其输出，使其更忠实于事实或输入数据。 常见方法： 知识增强：引入外部知识库（如检索数据库、向量数据库）辅助生成。 事实检查模块：通过后处理验证输出准确性。 Prompt 阅读全文

摘要：https://zhuanlan.zhihu.com/p/678902427 来自于 Meta AI，原文链接如下： 原文链接​arxiv.org/abs/2309.11495 LLM 经常遇到的主要问题就是幻觉，减少幻觉的方法大致可分为三类：训练时校正、生成时校正和通过增强（使用工具）进行校正。 阅读全文

摘要：导读 本文将分享大模型在蚂蚁集团推荐场景中的应用（以下全部为蚂蚁集团的研究工作及落地）。 主要内容包括以下几大部分： 1. 背景介绍 2. 利用大模型进行知识提取 3. 大模型作为教师模型 4. Q&A 分享嘉宾｜胡斌斌 蚂蚁集团AI创新研发部门NextEvo 算法专家 编辑整理｜王甲君 内容校对｜ 阅读全文

摘要：EmoLLM 是一系列能够支持 理解用户-支持用户-帮助用户 心理健康辅导链路的心理健康大模型，由 LLM指令微调而来，欢迎大家star~⭐⭐。目前已经开源的 LLM 微调配置如下： 心理健康大模型（Mental Health Grand Model）是一个综合性的概念，它旨在全面理解和促进个体、群 阅读全文

摘要：导读 随着 ChatGPT 的流行，LLMs（大语言模型）再次进入人们的视野。然而，在处理特定领域查询时，大模型生成的内容往往存在信息滞后和准确性不足的问题。如何让 RAG 和向量搜索技术在实际应用中更好地满足企业需求？如何在向量之上构建全链路 RAG 服务，提升开发者效率，降低成本？本文整理自 T 阅读全文

摘要：在企业提效方面，多模态能力同样具有重要意义。在 AICon 北京站活动中，我们邀请了快手「可图」大模型负责人李岩，他分享了主题为《快手「可图」文生图大模型应用实践》的演讲内容，以下为李岩演讲内容～期待对你有所启发！ 另外，在 8 月 18-19 日即将举办的 AICon 全球人工智能开发与应用大会上 阅读全文

摘要：在LLMs中，幻觉出现在模型生成的文本偏离其训练集中实际数据的情况下。相反，它制造出看似可信但缺乏事实或背景证据支持的信息。这些幻觉可能导致生成不准确或误导性信息，对于精度和可靠性至关重要的应用而言，这是一个重大问题。幻觉对于广泛实际应用LLMs构成了重大障碍。认识到这一挑战强调了开发自动化方法以识 阅读全文

摘要：以下是几种有效的大语言模型（LLM）输出幻觉检测方法： 1. 基于采样一致性的检测方法 SelfCheckGPT：通过多次采样生成多个回答，然后评估这些回答之间的一致性。如果回答相互矛盾，则可能包含幻觉。具体方法包括： BERTScore：比较句子与样本中最相似句子的相似度。 MQAG：通过生成多项 阅读全文

摘要：牛津大学开发新方法，检测大语言模型幻觉🚀 标题: Detecting Hallucinations in Large Language Models Using Semantic Entropy🏫 团队: 牛津大学🌐 来源: Nature, 2405.19648🛎️ 文章简介🔺背景: 大语 阅读全文

摘要：导读 大家好，我是施兴（花名叔宝），来自阿里云机器学习平台 PAI，主要负责产品架构。我们团队主要负责：①搜索推荐，这是我们较为成熟的一个领域；②涉及图像和视频多模态处理，如图像视频打标和 Stable Diffusion 文生图，文生视频等相关工作；③在大模型场景下，阿里有通义系列大模型，我们负责 阅读全文

摘要：文章目录前言一、幻觉介绍二、幻觉产生的原因三、幻觉的现象四、幻觉的分类五、幻觉解决方案六、幻觉待解决问题后记 前言在人类的感知和认知过程中，幻觉一直是一个被广泛讨论和研究的问题。幻觉指的是一种虚假的感知或认知经验，使我们看到、听到或感受到不存在的事物或事件。无论是在科学领域还是日常生活中，幻觉都引发 阅读全文

摘要：随着跨平台应用的需求不断增长，开发人员需要一种能够在不同操作系统上运行的用户界面（UI）框架。 Avalonia 是一种引人注目的选择。在本文中，我们将深入了解 Avalonia 是什么，它与 WPF 的区别，以及它的 UI 绘制引擎和原理、优点，以及一个简单的示例代码。 Avalonia 是什么？ 阅读全文

摘要：我曾多次给我的小伙伴安利Dify。它是一个高效的工作流平台，支持各种常见任务的自动化操作和协作，适合自媒体人、开发者和运营人员等。 Dify不仅支持多种模型调用，还可以通过开源的工作流来大大提高工作效率。 Dify现在的用户量其实很多，只不过它没Coze那么多创作者，所以大家都是闭门造车。 但是Di 阅读全文

摘要：引子在几乎除了聊天以外所有的程序调用场景中，我们都希望 LLM 通过某种结构化的方式来输出，便于后续程序处理。在本文中，我们采用一个推书的例子，通过几种方式由简单到复杂地让 LLM 结构化地输出结果。我采用的方法尽量不依赖某个平台或模型的特有功能，而是一些通用的方式来实现。 这个例子很简单，向 LL 阅读全文

摘要："大模型的函数调用"（Large Model Function Calling）有两种含义： 内部函数调用： 这指的是大型模型在其内部运行时执行的函数调用。这些函数调用是模型的一部分，用于处理输入，执行复杂的计算，生成预测等。这些内部函数是模型架构的一部分，对于最终用户通常是不可见的。 外部API调 阅读全文

摘要：用于开发创建、管理和执行工作流以及运行工作器的 Go 应用程序的 SDK。 Conductor是领先的开源编排平台，允许开发人员构建高度可扩展的分布式应用程序。 要了解有关 Conductor 的更多信息，请查看我们的开发人员指南，并给它一个 ⭐ 以使其出名！ 内容 安装 你好世界！ 步骤 1：通过 阅读全文

摘要：GoFlow 是一个高性能、可扩展且分布式的 Workflow 框架，允许以有向无环图（DAG）的形式编程定义分布式工作流。它支持将任务分配到多个工作节点上，并通过 Redis 进行负载均衡。GoFlow 提供了丰富的功能，包括工作流的定义、任务的并行执行、监控以及可视化仪表板。 特点： 支持单节点 阅读全文

摘要：简单来说，就是可以将错误格式（非标准）的json修正，如下图所示： 我的json明显不是标准的json格式，是不能被解析的： 但是JSONRepair库也能修复。 github地址：https://github.com/kaptinlin/jsonrepair 使用也非常简单： 1、安装： 1 go 阅读全文

摘要：1. 引言 1.1 JSON结构化输出的意义 对于基于大型语言模型（LLMs）的应用而言，确保输出能直接以结构化的JSON格式呈现，对于提升数据处理的自动化程度、增强系统的互操作性具有重要意义。例如，客户需要对LLM的输出进行信息提取时，若输出是一个JSON格式则会大大方便工程链路上的后处理；例如， 阅读全文

摘要：作者：HowardZhangdqs链接：https://www.zhihu.com/question/656512469/answer/3515553778来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 回答结果是format好的，看起来格式有问题是因为网页把输出当M 阅读全文

摘要：有效解析和理解非结构化文档中的表格时，设计 RAG 方案仍然是一大挑战。 以图片格式存在的表格情况下，这更困难，如扫描文件中的表格。这些挑战至少包含以下几个方面： 扫描文档或图像文档的复杂性，如多样化的结构、包含非文本元素以及手写和打印内容的结合，为自动准确提取表格信息带来了挑战。不准确的解析可能会 阅读全文

摘要：探索检索增强生成（RAG）技术的无限可能：Vector+KG RAG、Self-RAG、多向量检索器多模态RAG集成 由于 RAG 的整体思路是首先将文本切分成不同的组块，然后存储到向量数据库中。在实际使用时，将计算用户的问题和文本块的相似度，并召回 top k 的组块，然后将 top k 的组块和 阅读全文

摘要：多模态模型：llava-v1.5-7b，主要用于图片理解，本文的使用场景为获取图片标题和图片内容描述。 1、查看服务器配置 nvidia-smi CUDA版本= 12.2,8张24g RTX 3090显卡。 2、环境配置 2.1、克隆此存储库并导航到 LLaVA 文件夹 git clone http 阅读全文

摘要：RAG中的混合检索如下图： 为什么要混合搜索(multi-way recall)? 越来越多的人认为，仅仅依靠向量搜索，通常是密集向量，可能并不总是产生令人满意的结果。当用户的特定查询关键字与存储的数据不精确匹配时，这种限制就会变得明显。这是因为向量本身不能表示精确的语义信息:向量可以表示一个词、一 阅读全文

摘要：BM25和向量检索是两种不同的信息检索方法，它们在原理、效率、语义理解能力等方面存在显著区别，适用于不同的应用场景。以下是两者的详细对比： 方面BM25向量检索 原理 基于词频（TF）和逆文档频率（IDF）的统计方法，通过计算查询词与文档的相关性得分。 使用深度学习技术将文本转换为高维向量，通过向量 阅读全文

摘要：BGE（BAAI General Embedding）是智源研究院打造的通用语义向量模型。自2023年8月发布以来，智源团队陆续发布了中英文模型BGE v1.0、v1.5以及多语言模型 BGE-M3，截至目前，BGE 系列模型全球下载量超过 1500万，位居国内开源AI模型首位。BGE-M3模型一度 阅读全文

摘要：在当今的信息检索领域，随着人工智能和自然语言处理技术的发展，稠密向量检索和稀疏向量检索成为了两种主要的研究方向。稠密向量检索依托于高维空间中的向量表示，能够捕捉文档的深层语义信息，而稀疏向量检索则侧重于关键词的匹配，依赖于文档中词条的存在与否。此外，BM25算法作为一种经典的信息检索模型，以其高效处 阅读全文

摘要：RLHF（Reinforcement Learning fromHuman Feedback，人类反馈强化学习） 引言 在人工智能领域，尤其是自然语言处理（NLP）技术迅猛发展的今天，如何让机器更好地理解和满足人类的需求成为了一个关键问题。传统的训练方法依赖于大规模的语料库和基于规则的损失函数，但在 阅读全文

摘要：VLLM和LMdeploy 各有优劣 VLLM功能多，开发者多，代码比较容易懂也比较容易修改， 能适配不同的平台 LMdeploy执行效率高，开发者少，文档几乎没有，只支持NVidia 公司实际上线，肯定要博采众长，既要有LMdeploy的执行效率，也要参考VLLM的各种功能实现。 LMdelpoy 阅读全文

摘要：LMDeploy简介LMDeploy 由 MMDeploy 和 MMRazor 团队联合开发，是涵盖了 LLM 任务的全套轻量化、部署和服务解决方案，提供以下核心功能： 高效的推理：LMDeploy 开发了 Persistent Batch(即 Continuous Batch)，Blocked K 阅读全文

摘要：DPO（Direct Preference Optimization，直接偏好优化）和SFT（Supervised Fine-Tuning，有监督微调）是两种用于优化大语言模型（LLMs）的方法，它们在目标、训练流程和适用场景上存在显著区别。以下是两者的详细对比： 1. 概念与目标 SFT（有监督微 阅读全文

摘要：RAG模型上下文丢失问题解决方案对比传统的RAG（检索增强生成）系统通过将文档拆分为独立的小块，并为每个数据块单独生成嵌入向量来提升模型的检索能力。然而，这种方法容易丢失上下文信息，导致模型在处理长文本时理解力下降。为了解决这一问题，Anthropic提出了“Contextual Retrieval 阅读全文

摘要：下载数据： aws s3 cp s3://applied-nlp-book/data/ data --recursive --no-sign-requestaws s3 cp s3://applied-nlp-book/models/ag_dataset/ models/ag_dataset --r 阅读全文

摘要：开发者们在使用 RAG（检索增强生成模型）时经常会遇到一个问题——上下文缺失。因为单个数据块缺乏足够的背景，导致模型无法准确回答问题，甚至出现幻觉！先举几个例子让大家感受一下：- 数据块常常用代词来描述内容（比如：它、它们…），在检索时可能导致错误。- 许多问题的答案分散在多个数据块中，单个数据块无 阅读全文