MEGVII 旷视 Brain++ 平台;天元MegEngine平台简要了解
旷视Brain++是由旷视研究院自主研发的新一代 AI生产力平台,致力于帮助企业和开发者提升AI生产效率、规范生产流程。(2014-2021)https://www.brainpp.com/
最近有个相关的面试,就简单的搜集了一下资料,用作个人的参考。
Brain++的核心能力:
- 数据的处理、清洗和管理能力;数据层,MegData。
- 算力的共享、调度和分布式能力;算力层,MegCompute。
- 算法的训练、推理及部署能力。算法层,天元 MegEngine。
目前,旷视正通过逐步开源核心框架、开放算力和数据平台的形式,为企业客户和广大开发者提供规模化AI生产能力。平台宏观框架如下:
天元MegEngine:(官方描述)
- Brain++的最为核心组件
- 全新一代的工业级深度学习开源框架
- 友好的编程接口
- 大规模深度学习模型训练和部署
- 计算接口、图表示、优化与编译、运行时管理和计算内核五层
- 简化算法开发流程
- 实现模型训练速度和精度的无损迁移
- 支持动静态的混合编程和模型导入
- 内置高性能计算机视觉算子
- 适用于大模型算法训练
- 亮点:
- 训练推理一体
- 动静合一
- 兼容并包
- 灵活高效
- 训练推理一体
MegData:(官方描述)
- 自研的人工智能数据管理平台
- 覆盖数据获取、数据处理、数据标注、数据管理、数据安全五大维度
- 数据生产为起点
- 支持不同业务场景和训练方式
- 对数据进行处理和标注
- 提供对结构化数据的标注、特征处理、衍生、筛选等标准处理流程
- 对多种非结构化数据提供在线标注能力
- 通过标准化标注流程实现对标注数据、标注任务、标注人员、标注进度、标注质量和标注工具的统一管理
- 为AI模型训练提供高质量训练数据
- 设计了多重的数据安全功能,保障数据的安全和隐私
- 亮点:
- 高效
- 专业
- 安全
- 稳定
MegCompute:(官方描述)
- 旷视自主研发的大规模人工智能算力平台
- 提供E级算力资源调度
- EB级海量数据存储管理
- 400G RDMA高速骨干网络
- 包含基础设施、数据存储、计算调度、上层服务等功能模块
- 通过分布式集群管理最大化提高资源利用率
- 算法生产全流程服务化
- 训练过程更加高效
- 亮点:
- 400G RDMA
- 异构资源池
- 灵活的任务调度
- 算法生成全流程
MegEngine:
- https://megengine.org.cn/
- https://github.com/megengine/
- 天元MegEngine
- 金枪鱼之夜—MegEngine架构设计
- https://megengine.org.cn/blog(技术分享博客)
# 2022年03月28日10:37:39
最近听说,天元平台很多技术并没有完全放出来,相关可查询资料很少,难道就是为了收获star么?
之前写的一些材料,也都是从官方文档中读到的。看来不能完全看其ppt呀。