随笔- 31 文章- 0 评论- 1 阅读- 28916

04 2024 档案

摘要：一传统方法之前的文章已经介绍过向量数据库在RAG（Retrieval Augmented Generative）中的应用，本文将会讨论另一个重要的工具-Embedding模型。一般来说，构建生产环境下的RAG系统是直接使用Embedding模型对用户输入的Query进行向量化表示，并且从已经构阅读全文

posted @ 2024-04-26 15:25 深度学习机器阅读(309) 评论(0) 推荐(0) 编辑

【高级RAG技巧】在大模型知识库问答中增强文档分割与表格提取

摘要：前言文档分割是一项具有挑战性的任务，它是任何知识库问答系统的基础。高质量的文档分割结果对于显著提升问答效果至关重要，但是目前大多数开源库的处理能力有限。这些开源的库或者方法缺点大致可以罗列如下：只能处理文本，无法提取表格中的内容缺乏有效的分割策略，要么是一整个文档全部提取，要么是词粒度的获取阅读全文

posted @ 2024-04-18 21:35 深度学习机器阅读(2262) 评论(1) 推荐(0) 编辑

向量数据库之Lancedb学习记录

摘要：简介 Lancedb是一个用于人工智能的开源矢量数据库，旨在存储、管理、查询和检索大规模多模式数据的嵌入。Lancedb的核心是用Rust编写的，并构建在Lance之上，专为高性能 ML 工作负载和快速随机访问而设计。快速开始安装 pip install lancedb 目前0.6.8需要pya 阅读全文

posted @ 2024-04-15 19:26 深度学习机器阅读(1662) 评论(0) 推荐(0) 编辑

向量数据库Chroma学习记录

摘要：一简介 Chroma是一款AI开源向量数据库，用于快速构建基于LLM的应用，支持Python和Javascript语言。具备轻量化、快速安装等特点，可与Langchain、LlamaIndex等知名LLM框架组合使用。二基本用法 1 安装安装方式非常简单，只需要一行命令 pip instak 阅读全文

posted @ 2024-04-13 10:57 深度学习机器阅读(1359) 评论(0) 推荐(0) 编辑