deeplearningmachine

摘要： 介绍 1 版面分割模型 这部分属于另一个项目（pdf-document-layout-analysis）的内容，可以移步查看具体模型的介绍和训练过程。 1.1 机器学习模型 基于LIGHTGBM算法，并且只需要使用CPU资源，因此对硬件要求不高，速度快，但是只能处理文字类型的PDF。 1.2 VGT 阅读全文

摘要： 架构总览 特性： ● 支持数据库中进行的ai和ml分析 ● 支持gpu加速 ● 集成多种开源llm和rag框架 ● 支持传统的机器学习模型 使用方法 云端试用 官方提供了云服务试用，根据要求注册账号即可： 注册地址 本地部署 官方提供了docker镜像，执行如下命令即可安装 docker run \ 阅读全文

摘要： 一 RAG简介 大模型相较于过去的语言模型具备更加强大的能力，但在实际应用中，例如在准确性、知识更新速度和答案透明度方面，仍存在不少问题，比如典型的幻觉现象。因此，检索增强生成 (Retrieval-Augmented Generation, RAG) 被当作于大模型应用开发的一种新范式。RAG是指 阅读全文

摘要： 一 汇总 类型 名称 地址 OCR 提取表格内容 保留文本顺序 提取图片 保存成md格式 其他特性 传统PDF解析库 pymupdf https://github.com/pymupdf/PyMuPDF ❌ ✔️ ✔️ ✔️ ❌ ● 表格提取● 自定义字体 传统PDF解析库 pdfminer htt 阅读全文

摘要： 项目结构 流程解析 预处理的作用是判断文档内容是否需要进行OCR识别，如果是普通可编辑的PDF文档，则使用PyMuPDF库提取元信息。 模型层除了常规的OCR、版面结构分析外，还有公式检测模型，可提取公式内容，用于后续把公式转化为Latex格式。但是目前暂无表格内容识别，官方预计1个月之内会放出。 阅读全文

摘要： 项目结构 Deepdoc是RAG框架RAGFLOW中使用的文档解析工具。 |--deepdoc |--parser |--resume |--entities |--step_one.py |--step_two.py |--docx_parser.py |--pdf_parser.py |--ex 阅读全文

摘要： 整体架构 架构解读 可以看到，DB-GPT把架构抽象为7层，自下而上分别为： 运行环境：支持本地/云端&单机/分布式等部署方式。顺便一提，RAY是蚂蚁深度参与的一个开源项目，所以对RAY功能的支持应该非常完善。 训练层：由子项目DB-GPT-Hub提供。以LLM为基，包含多种数据集和微调方法的微调框 阅读全文

摘要： Sentence Transformer库升级到了V3，其中对模型训练部分做了优化，使得模型训练和微调更加简单了，跟着官方教程走了一遍，顺利完成向量模型的微调，以下是对官方教程的精炼和总结。 一 所需组件 使用Sentence Transformer库进行向量模型的微调需要如下的组件： 数据数据: 阅读全文

摘要： Chat2DB 项目地址：https://github.com/chat2db/Chat2DB 简介：Chat2DB是一个通用的SQL客户端和数据分析工具，能够辅助生成SQL，同时支持对话式的数据分析功能，提供了网页、客户端2种使用方式，它支持几乎所有流行的数据库，并且chat2DB还开源了7B的S 阅读全文

摘要： 最近项目中需要用到js库来渲染pdf文件，调研后发现无论是reach-pdf.js或者是svelte-pdf.js都是在pdf.js基础上做了些许精简，反而功能还不如原始的pdf.js来得全面。但是原始的库几乎没有像样的代码示例，而能搜索到的大多数代码不少都是十几年前的了，在这个过程中踩了不少坑，做 阅读全文