摘要：
LightRAG是港大Data Lab提出一种基于知识图谱结构的RAG方案，相比GraphRAG具有更快更经济的特点。 架构 1 索引阶段：对文档进行切分处理，提取其中的实体和边分别进行向量化处理，存放在向量知识库 2 检索阶段：对用于输入分别提取局部和全局关键词，分别用于检索向量知识库中的实体和边 阅读全文
摘要：
pgvector介绍 pgvector是一款开源的向量搜索引擎，除了具备所有Postgres数据库的特性外，最主要的特点是能在Postgres数据库存储和检索向量数据，支持向量的精确检索和模糊检索。向量格式除了传统embedding模型的单精度浮点数外，还支持半精度浮点数，二元向量或者稀疏向量。 安 阅读全文
摘要：
介绍 1 版面分割模型 这部分属于另一个项目（pdf-document-layout-analysis）的内容，可以移步查看具体模型的介绍和训练过程。 1.1 机器学习模型 基于LIGHTGBM算法，并且只需要使用CPU资源，因此对硬件要求不高，速度快，但是只能处理文字类型的PDF。 1.2 VGT 阅读全文
摘要：
架构总览 特性： ● 支持数据库中进行的ai和ml分析 ● 支持gpu加速 ● 集成多种开源llm和rag框架 ● 支持传统的机器学习模型 使用方法 云端试用 官方提供了云服务试用，根据要求注册账号即可： 注册地址 本地部署 官方提供了docker镜像，执行如下命令即可安装 docker run \ 阅读全文
摘要：
一 RAG简介 大模型相较于过去的语言模型具备更加强大的能力，但在实际应用中，例如在准确性、知识更新速度和答案透明度方面，仍存在不少问题，比如典型的幻觉现象。因此，检索增强生成 (Retrieval-Augmented Generation, RAG) 被当作于大模型应用开发的一种新范式。RAG是指 阅读全文
摘要：
一 汇总 类型 名称 地址 OCR 提取表格内容 保留文本顺序 提取图片 保存成md格式 其他特性 传统PDF解析库 pymupdf https://github.com/pymupdf/PyMuPDF ❌ ✔️ ✔️ ✔️ ❌ ● 表格提取● 自定义字体 传统PDF解析库 pdfminer htt 阅读全文
摘要：
项目结构 流程解析 预处理的作用是判断文档内容是否需要进行OCR识别，如果是普通可编辑的PDF文档，则使用PyMuPDF库提取元信息。 模型层除了常规的OCR、版面结构分析外，还有公式检测模型，可提取公式内容，用于后续把公式转化为Latex格式。但是目前暂无表格内容识别，官方预计1个月之内会放出。 阅读全文
摘要：
项目结构 Deepdoc是RAG框架RAGFLOW中使用的文档解析工具。 |--deepdoc |--parser |--resume |--entities |--step_one.py |--step_two.py |--docx_parser.py |--pdf_parser.py |--ex 阅读全文
摘要：
整体架构 架构解读 可以看到，DB-GPT把架构抽象为7层，自下而上分别为： 运行环境：支持本地/云端&单机/分布式等部署方式。顺便一提，RAY是蚂蚁深度参与的一个开源项目，所以对RAY功能的支持应该非常完善。 训练层：由子项目DB-GPT-Hub提供。以LLM为基，包含多种数据集和微调方法的微调框 阅读全文
摘要：
Sentence Transformer库升级到了V3，其中对模型训练部分做了优化，使得模型训练和微调更加简单了，跟着官方教程走了一遍，顺利完成向量模型的微调，以下是对官方教程的精炼和总结。 一 所需组件 使用Sentence Transformer库进行向量模型的微调需要如下的组件： 数据数据: 阅读全文