04 2024 档案

摘要:前面我们通过两篇文章: [BGE M3-Embedding 模型介绍](https://www.cnblogs.com/xiaoqi/p/18143552/bge-m3) 和 [Sparse稀疏检索介绍与实践](https://www.cnblogs.com/xiaoqi/p/18135929/sparse_retrieval) 介绍了sparse 稀疏检索,今天我们来看看如何建立一个工程化的系统来实现sparse vec的检索。 阅读全文
posted @ 2024-04-22 14:52 JadePeng 阅读(327) 评论(0) 推荐(0) 编辑
摘要:BGE M3-Embedding是BAAI开源的embedding模型,支持多语言,多粒度,多功能检索,本文介绍模型的相关信息 阅读全文
posted @ 2024-04-18 15:04 JadePeng 阅读(13102) 评论(0) 推荐(0) 编辑
摘要:在处理大规模文本数据时,我们经常会遇到一些挑战,比如如何有效地表示和检索文档,当前主要有两个主要方法,传统的文本BM25检索,以及将文档映射到向量空间的向量检索。 BM25效果是有上限的,但是文本检索在一些场景仍具备较好的鲁棒性和可解释性,因此不可或缺,那么在NN模型一统天下的今天,是否能用NN模型来增强文本检索呢,答案是有的,也就是我们今天要说的sparse 稀疏检索。 传统的BM25文本检索其实就是典型的sparse稀疏检索,在BM25检索算法中,向量维度为整个词表,但是其中大部分为0,只有出现的关键词或子词(tokens)有值,其余的值都设为零。这种表示方法不仅节省了存储空间,而且提高了检索效率。 阅读全文
posted @ 2024-04-15 14:39 JadePeng 阅读(2560) 评论(1) 推荐(1) 编辑
摘要:KG-RAG框架通过结合生物医学知识图谱和LLM,为生物医学领域的问题提供了通用的解决方案。不仅提高了模型的性能,而且简化了流程,使其更具成本效益和时间效率。 阅读全文
posted @ 2024-04-11 13:41 JadePeng 阅读(2602) 评论(0) 推荐(2) 编辑
摘要:在这篇文章中,我们来详细探讨知识图谱(KG)在RAG流程中的具体应用场景。 阅读全文
posted @ 2024-04-10 17:51 JadePeng 阅读(1442) 评论(2) 推荐(1) 编辑
摘要:4 月 1 日,Infinity宣布端到端 RAG 解决方案 RAGFlow 开源,仅一天收获上千颗星,到底有何魅力? 我们来安装体验并从代码层面来分析看看。 阅读全文
posted @ 2024-04-09 14:20 JadePeng 阅读(10825) 评论(0) 推荐(2) 编辑