09 2024 档案
摘要：最近的一项研究广泛探讨了小语言模型(slm)在现代 AI 中的作用。该研究对 slm 进行了全面分析，重点关注其功能、应用和潜在优势，特别是与大型模型相比。本研究强调了 slm 在需要效率和可解释性的领域中的重要性，同时也讨论了它们在大型模型可能不实用的特定任务中的相关性。 最近的一项研究通过两个视
阅读全文
摘要：关于小语言模型 小语言模型(slm)是为在桌面、智能手机和可穿戴设备上进行资源高效部署而设计的。 其目标是使先进的机器智能能够为每个人所使用和负担得起，就像人类认知的普遍性一样。 小语言模型(slm)已经广泛集成到商业设备中。例如，最新的谷歌和三星智能手机内置了大型语言模型(LLM)服务，如 Gem
阅读全文
摘要：当您有可以比较的真实数据时，评估检索-增强生成(RAG)模型要容易得多。但是如果你没有呢?这就是事情变得有点棘手的地方。然而，即使在缺乏基本事实的情况下，仍然有一些方法可以评估 RAG 系统的性能。下面，我们将介绍三种有效的策略，从零开始创建 ground truth 数据集的方法，当你确实拥有数据
阅读全文
摘要：一些初步的想法 AI 代理的核心架构开始趋于稳定，开发人员似乎更关注实践上。 AI 代理将扩展其功能，特别是在视觉探索、网页浏览和移动操作系统集成等领域。 Salesforce 似乎正在大力推动其在 AI 代理研究方面的进步，特别是关注大型动作模型及其开发框架。 比较开发框架本质上是具有挑战性的，因
阅读全文
摘要：校对是 Gboard 的一项新功能，它使用服务器端大型语言模型(LLM)，只需点击一下就可以提供无缝的句子级和段落级更正，减轻了那些喜欢专注于打字而不是检查已提交单词的快速打字者的痛点。 校对背后的系统由四个部分组成:数据生成、指标设计、模型调优和模型服务。 数据生成过程涉及一个精心设计的错误合成框
阅读全文
摘要：近年来，人工智能取得了显著的进步，像 GPT-4 这样的大型语言模型上了头条。然而，一个新的趋势正在出现:小型语言模型(small language models, SLMs)。这些模型虽然更紧凑和高效，但提供了重要的功能，并且越来越多地被各行业采用。以下是 21 种正在塑造 AI 未来的小型语言模
阅读全文
摘要：规模越大并不总是越好:从 llm 到 slm 的转变 当我们想到 AI 时，经常会想到像 GPT-4 或 BERT 这样的大型模型。这些巨人被称为大型语言模型(Large Language Models, llm)，由于其庞大的参数大小和广泛的训练数据，它们具有令人印象深刻的能力。然而，并不总是越大
阅读全文
摘要：https://arxiv.org/abs/2212.08410 思维链提示在基础层面上是如此成功，以至于它产生了一些被称为 x 链现象的东西。谷歌研究院探索了如何使用 llm 为现有数据集生成 CoT 数据本体，然后如何在 CoT 上微调较小的语言模型。 介绍 众所周知，思维链提示提高了大型语言模
阅读全文
摘要：引入语义标签过滤:利用标签相似度 增强检索 传统的标签搜索缺乏灵活性。如果我们要过滤恰好包含给定标签的样本，可能会出现这样的情况，特别是对于只包含几千个样本的数据库， 可能没有任何(或只有少数)与我们的查询匹配的样本。 两种搜索的不同之处在于搜索结果的稀缺性 传统的标签搜索是如何工作的? 传统系统采
阅读全文
摘要：RAG 幻觉检测方法 未经检查的幻觉在今天的检索增强生成应用中仍然是一个大问题。本研究评估了 4 个公共 RAG 数据集中流行的幻觉检测器。使用 AUROC 和精度/召回率，我们报告了 G-eval、Ragas 和可信语言模型等方法如何能够自动标记不正确的 LLM 响应。 利用各种幻觉检测方法识别
阅读全文
摘要：在https://www.arxiv.org/abs/2408.04259中，作者介绍了一种高效的多跳问答检索器效率 EfficientRAG。EfficientRAG 迭代地生成新的查询，而不需要在每次迭代中调用 LLM，并过滤掉不相关的信息 方法 EfficientRAG框架概述 作者介绍了Ef
阅读全文
摘要：项目简介 本项目开源了基于儿科医疗指令微调的问诊模型：pediatrics_llm_qa(GitHub - jiangnanboy/pediatrics_llm_qa)，目前模型的主要功能如下： 智能问诊：问诊后给出诊断结果和建议。 更新 [2024/09/11] 开源了基于Qwen2-1.5B-i
阅读全文
摘要：介绍 检索增强生成(RAG)已成为语言模型中生成更准确和上下文相关输出的流行方法。 通常，RAG 中的检索步骤依赖于余弦相似度来识别 top-n 相关文档。然而，这种方法的一个缺点是它可以返回高度相似的文档，从而导致冗余和较少的响应多样 性。 这里提出了一种通过迭代调整所选文档向量来增强文档检索多样
阅读全文
摘要：项目地址：https://github.com/jiangnanboy/llm_security 利用分类法和敏感词检测法对生成式大模型的输入和输出内容进行安全检测，尽早识别风险内容。 使用【ServiceApplication.java】 相关模型下载：https://github.com/jia
阅读全文
摘要：RAG 系统及其挑战 检索增强生成的流行是有充分理由的。它允许 AI 系统通过结合信息检索和语言生成来回答问题。标准的 RAG 管道通过摄取数据、检索相关信息并使用它来生成响应来实现这一点。 然而，随着数据变得越来越复杂，查询也越来越复杂，传统的 RAG 系统可能会 面临限制。这就是语义分块发挥作用
阅读全文
摘要：https://arxiv.org/abs/2408.14484 Agentic Retrieval-Augmented Generation for Time Series Analysis 该方法引入了一种利用多智能体 RAG 系统进行时间序列分析的新框架。该框架 解决了时间序列数据中复杂的时空
阅读全文
摘要：https://www.arxiv.org/pdf/2408.12748 （SLM Meets LLM: Balancing Latency, Interpretability and Consistency in Hallucination Detection ） 平衡会话 AI 幻觉检测中的延迟
阅读全文
摘要：Paper: https://arxiv.org/abs/2405.20139 知识图(KGs)以三元组(头、关系、尾)的形式表示人类精心制作的事实知识，它们 共同构成了一个图。大型语言模型(Large Language Models, llm)是 QA 任务中最 先进的模型，因为它们具有理解自然语
阅读全文
摘要：介绍 在快速发展的人工智能(AI)和机器学习(ML)世界中，不断开发新的工具来应对复 杂的挑战。一个突出的工具是 GraphRAG，这是一个通过合并图结构和语言模型 来改进知识表示和检索的系统。本文将深入探讨 GraphRAG 的各个方面，包括它 的目标、实际应用程序、底层方法、微调技术，以及它对不
阅读全文
