omniparse 面向文档以及多媒体资源的数据处理解析以及优化的工具

omniparse 面向文档以及 多媒体资源的数据处理解析以及优化的工具

包含的特性

• 本地运行
• 支持10+ 文件类型
• 转换文旦分多媒体，web 为高质量结构化的markdown
• 表格提取，图片提取，音视频字幕，web 爬虫
• 快速部署
• 提供了api 访问

使用到的一些开源工具

如下，主要是orc ，音频处理以及视觉大模型等
Surya OCR, Detect, Layout, Order, and Texify
Florence-2 base
Whisper Small

说明

omniparse 主要也是解决RAG 或者生成式ai 一些开源工具在处理文档以及多媒体资源的一些缺陷，当然目前来说omniparse 也还是有一些缺陷的，但是相比一个开源的方案好了不少

参考资料

https://github.com/adithya-s-k/omniparse
https://docs.cognitivelab.in/
https://docs.cognitivelab.in/api