magika google 开源的基于深度学习的文件类型检测框架

magika google 开源的基于深度学习的文件类型检测框架，基于了一个keras 模型，包含了1MB的参数，而且需要的资源比较少
不以来GPU

包含的特性

  • 支持python cli 以及nodejs 使用（基于tfjs）
  • 训练超过了25M的文件数，超过100中类型
  • 支持递归检测
  • 支持3中类型的预测模型高，中，最优模式

说明

magika 目前已经在google 内部使用了，包含drive，gmail 主要是对于文件内容安全的处理

参考资料

https://github.com/google/magika
https://google.github.io/magika/
https://opensource.googleblog.com/2024/02/magika-ai-powered-fast-and-efficient-file-type-identification.html

posted on   荣锋亮  阅读(54)  评论(0)  编辑  收藏  举报

相关博文：
· frida 动态检测工具集
· embeddedkafka 方便测试的基于内存的kafka 实现
· RAG 引擎 RAGFlow
· python-magic：检测文件的MIME类型
· 【CTF入门】BUUCTF Misc刷题（持续更新）
阅读排行：
· 全程不用写代码，我用AI程序员写了一个飞机大战
· DeepSeek 开源周回顾「GitHub 热点速览」
· 记一次.NET内存居高不下排查解决与启示
· MongoDB 8.0这个新功能碉堡了，比商业数据库还牛
· .NET10 - 预览版1新功能体验（一）
历史上的今天：
2023-02-19 tsup 简单快速的typescript库打包工具
2023-02-19 pgspider v0.20 之后的一些变动
2023-02-19 pgspider 发布v0.3.0 了
2022-02-19 grafana loki 2.4 简化服务部署
2021-02-19 airbyte 整体架构
2021-02-19 plop 方便的micro-generator framework
2021-02-19 jsdelivr 工作原理

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示