07 2024 档案
摘要：项目结构 流程解析 预处理的作用是判断文档内容是否需要进行OCR识别，如果是普通可编辑的PDF文档，则使用PyMuPDF库提取元信息。 模型层除了常规的OCR、版面结构分析外，还有公式检测模型，可提取公式内容，用于后续把公式转化为Latex格式。但是目前暂无表格内容识别，官方预计1个月之内会放出。
阅读全文
摘要：项目结构 Deepdoc是RAG框架RAGFLOW中使用的文档解析工具。 |--deepdoc |--parser |--resume |--entities |--step_one.py |--step_two.py |--docx_parser.py |--pdf_parser.py |--ex
阅读全文
摘要：整体架构 架构解读 可以看到，DB-GPT把架构抽象为7层，自下而上分别为： 运行环境：支持本地/云端&单机/分布式等部署方式。顺便一提，RAY是蚂蚁深度参与的一个开源项目，所以对RAY功能的支持应该非常完善。 训练层：由子项目DB-GPT-Hub提供。以LLM为基，包含多种数据集和微调方法的微调框
阅读全文
摘要：Sentence Transformer库升级到了V3，其中对模型训练部分做了优化，使得模型训练和微调更加简单了，跟着官方教程走了一遍，顺利完成向量模型的微调，以下是对官方教程的精炼和总结。 一 所需组件 使用Sentence Transformer库进行向量模型的微调需要如下的组件： 数据数据:
阅读全文
