摘要：
一 汇总 类型 名称 地址 OCR 提取表格内容 保留文本顺序 提取图片 保存成md格式 其他特性 传统PDF解析库 pymupdf https://github.com/pymupdf/PyMuPDF ❌ ✔️ ✔️ ✔️ ❌ ● 表格提取● 自定义字体 传统PDF解析库 pdfminer htt 阅读全文
摘要：
项目结构 流程解析 预处理的作用是判断文档内容是否需要进行OCR识别，如果是普通可编辑的PDF文档，则使用PyMuPDF库提取元信息。 模型层除了常规的OCR、版面结构分析外，还有公式检测模型，可提取公式内容，用于后续把公式转化为Latex格式。但是目前暂无表格内容识别，官方预计1个月之内会放出。 阅读全文
摘要：
项目结构 Deepdoc是RAG框架RAGFLOW中使用的文档解析工具。 |--deepdoc |--parser |--resume |--entities |--step_one.py |--step_two.py |--docx_parser.py |--pdf_parser.py |--ex 阅读全文
摘要：
整体架构 架构解读 可以看到，DB-GPT把架构抽象为7层，自下而上分别为： 运行环境：支持本地/云端&单机/分布式等部署方式。顺便一提，RAY是蚂蚁深度参与的一个开源项目，所以对RAY功能的支持应该非常完善。 训练层：由子项目DB-GPT-Hub提供。以LLM为基，包含多种数据集和微调方法的微调框 阅读全文
摘要：
Sentence Transformer库升级到了V3，其中对模型训练部分做了优化，使得模型训练和微调更加简单了，跟着官方教程走了一遍，顺利完成向量模型的微调，以下是对官方教程的精炼和总结。 一 所需组件 使用Sentence Transformer库进行向量模型的微调需要如下的组件： 数据数据: 阅读全文
摘要：
Chat2DB 项目地址：https://github.com/chat2db/Chat2DB 简介：Chat2DB是一个通用的SQL客户端和数据分析工具，能够辅助生成SQL，同时支持对话式的数据分析功能，提供了网页、客户端2种使用方式，它支持几乎所有流行的数据库，并且chat2DB还开源了7B的S 阅读全文
摘要：
最近项目中需要用到js库来渲染pdf文件，调研后发现无论是reach-pdf.js或者是svelte-pdf.js都是在pdf.js基础上做了些许精简，反而功能还不如原始的pdf.js来得全面。但是原始的库几乎没有像样的代码示例，而能搜索到的大多数代码不少都是十几年前的了，在这个过程中踩了不少坑，做 阅读全文
摘要：
前言 本文搜集了一些开源的基于LLM的RAG（Retrieval-Augmented Generation）框架，旨在吸纳业界最新的RAG应用方法与思路。如有错误或者意见可以提出，同时也欢迎大家把自己常用而这里未列出的框架贡献出来，感谢~ RAG应用框架 RAGFlow 项目地址：https://g 阅读全文
摘要：
一 传统方法 之前的文章已经介绍过向量数据库在RAG（Retrieval Augmented Generative）中的应用，本文将会讨论另一个重要的工具-Embedding模型。 一般来说，构建生产环境下的RAG系统是直接使用Embedding模型对用户输入的Query进行向量化表示，并且从已经构 阅读全文
摘要：
前言 文档分割是一项具有挑战性的任务，它是任何知识库问答系统的基础。高质量的文档分割结果对于显著提升问答效果至关重要，但是目前大多数开源库的处理能力有限。 这些开源的库或者方法缺点大致可以罗列如下： 只能处理文本，无法提取表格中的内容 缺乏有效的分割策略，要么是一整个文档全部提取，要么是词粒度的获取 阅读全文