随笔分类 - LLM相关
摘要：在现代数字世界中，图形用户界面（GUI）是人机交互的核心。然而，尽管大型语言模型（LLM）如ChatGPT在处理文本任务上表现出色，但在理解和操作GUI方面仍面临挑战，因此最近一年来，在学界和大模型社区中，越来越多的研究者和开发者们开始关注VLM-based GUI Agent。2023年12月，智谱发布了CogAgent，第一个基于视觉语言模型（Visual Language Model, VLM）的开源 GUI agent 模型，而在最近，最新的CogAgent模型 CogAgent-9B-20241220发布，让LLM操作GUI在技术上更进了一步。
阅读全文
摘要：本文介绍Windows 使用 Intel(R) Arc(TM) GPU 推理ONNX 模型
阅读全文
摘要：MindSearch 是InternLM团队的一个开源的 AI 搜索引擎框架，由中科大和上海人工智能实验室联合打造的，具有与 Perplexity.ai Pro 相同的性能。本文介绍MindSearch 的相关原理。
阅读全文
摘要：最近Mem0横空出世，官方称之为PA的记忆层，The memory layer for Personalized AI，有好事者还称这个是RAG的替代者，Mem0究竟为何物，背后的原理是什么，我们今天来一探究竟。
阅读全文
摘要：PhiData以其强大的功能集成和灵活的部署选项，为AI产品开发提供了极大的便利和高效性。它为构建智能AI助手提供了一个全新的视角，让开发者能够探索AI的无限可能。如果你对构建AI产品感兴趣，不妨试试PhiData。
阅读全文
摘要：Google推出了实验性的NotebookLM产品，一款基于RAG的个性化AI助手产品，基于用户提供的可信信息，通过RAG，帮助用户洞察和学习参考内容，然后借助AI整理笔记，转换为用户最终需要的大纲、博客、商业计划书等最终目的。
阅读全文
摘要：Playwright是新兴的自动化测试工具，拥有丰富的功能和API，隐藏在众多的爬虫和自动化工具背后，而多模LLM的出现让Playwright可以如虎添翼，自动化智能化的RPA工具预计将会井喷般出现。
阅读全文
摘要：LM出来后对爬虫程序有了新的要求，LLM也给爬虫带来了新的解决方案，本文分析Jina Reader和ScrapeGraphAI两块具有代表性的LLM时代的抓取工具功能、实现原理，带你看LLM时代的爬虫工具
阅读全文
摘要：前面我们通过两篇文章: [BGE M3-Embedding 模型介绍](https://www.cnblogs.com/xiaoqi/p/18143552/bge-m3) 和 [Sparse稀疏检索介绍与实践](https://www.cnblogs.com/xiaoqi/p/18135929/sparse_retrieval) 介绍了sparse 稀疏检索，今天我们来看看如何建立一个工程化的系统来实现sparse vec的检索。
阅读全文
摘要：在处理大规模文本数据时，我们经常会遇到一些挑战，比如如何有效地表示和检索文档，当前主要有两个主要方法，传统的文本BM25检索，以及将文档映射到向量空间的向量检索。
BM25效果是有上限的，但是文本检索在一些场景仍具备较好的鲁棒性和可解释性，因此不可或缺，那么在NN模型一统天下的今天，是否能用NN模型来增强文本检索呢，答案是有的，也就是我们今天要说的sparse 稀疏检索。
传统的BM25文本检索其实就是典型的sparse稀疏检索，在BM25检索算法中，向量维度为整个词表，但是其中大部分为0，只有出现的关键词或子词（tokens）有值，其余的值都设为零。这种表示方法不仅节省了存储空间，而且提高了检索效率。
阅读全文
摘要：KG-RAG框架通过结合生物医学知识图谱和LLM，为生物医学领域的问题提供了通用的解决方案。不仅提高了模型的性能，而且简化了流程，使其更具成本效益和时间效率。
阅读全文
摘要：在这篇文章中，我们来详细探讨知识图谱（KG）在RAG流程中的具体应用场景。
阅读全文
摘要：4 月 1 日，Infinity宣布端到端 RAG 解决方案 RAGFlow 开源，仅一天收获上千颗星，到底有何魅力？ 我们来安装体验并从代码层面来分析看看。
阅读全文
摘要：这里分享同济大学 `Haofen Wang`的关于检索增强生成的报告：《Retrieval-Augmented Generation (RAG): Paradigms, Technologies, and Trends》，全面了解RAG 范式、技术和趋势。
阅读全文
摘要：Agent是大模型的重要应用方向，而ReACT是学术界提出的重要方法，本文介绍ReACT论文，然后通过llama_index ReActAgent来分析ReACT的执行过程
阅读全文
摘要：我们从模型量化，模型推理，以及开发平台等三个层面来梳理分析LLM的推理和应用
阅读全文
摘要：RAG 是当前使用LLM的标准方法，大多数现有方法仅从检索语料库中检索短的连续块，限制了对整个文档上下文的整体理解。
最近，一种名为 RAPTOR （Recursive Abstractive Processing for Tree-Organized Retrieval）方法提出来， 可以让RAG的准确率提高 20%
阅读全文
摘要：LangChain 是一个利用LLM开发应用程序的框架, 文本介绍LangChain的入门使用
阅读全文