摘要:
作者:曹文刚 | 旷视 MegEngine 架构师 TracedModule 介绍 TracedModule 是 MegEngine 中的一种模型格式,用于脱离模型源码对模型进行训练、量化、图手术和模型转换,它是模型训练到部署之间的桥梁。 图 1 从一个普通 Module 生成 TracedModu 阅读全文
摘要:
作者:于雄雄 陈其友 | 旷视 MegEngine 架构师 背景 在 CV 领域中,卷积计算是扩充像素的感受野的有效方法,模型大多数的计算量都是卷积操作贡献的。因此在 CV 模型的推理性能优化中,最重要的一项工作是对卷积的优化。MegEngine 在长期的工业界实践和反馈的基础上总结得出卷积优化的基 阅读全文
摘要:
在这个算力需求爆炸的大背景下,如何评估我们程序发挥了处理器几成的算力,以及进一步优化空间和优化方向?
MegEngine 团队开发了一个工具 MegPeak,可以帮助开发人员进行性能评估,开发指导等。 阅读全文
摘要:
做 arm 侧算子开发时,不能不关心的就是性能。本文主要就是介绍 arm 算子性能优化的常用思路,做为一个入门级的参考。文章以 ARM Cortex a55 上的 GaussianBlur 优化为例展开,并在文末对 arm 性能优化思路做了一个总结。 阅读全文
摘要:
本篇整理自 3.19 日 “Large Kernel Makes CNN Great Again” 专题 Meetup 中《MegEngine 大 Kernel 卷积工程优化实践》分享。作者:王彪 | 旷视 MegEngine 异构计算组负责人。 视频回顾 01:10:55 直达 从卷积到矩阵乘 矩 阅读全文
摘要:
作者:陈思旭 | 旷视 MegEngine 架构师 3 分钟快速上手 效果对比 对深度学习框架来讲,模型的推理性能是用户关注的重要指标。其中一个高度影响性能的因素是 Tensor 的 Layout Format(例如 NCHW、NHWC等等),如何正确选择 Layout Format 将会高度影响最 阅读全文
摘要:
在 3.19 日的 “Large Kernel Makes CNN Great Again” 专题 Meetup 中,我们组织了一次圆桌讨论,希望能通过讨论一些比较有共性的问题,碰撞出更多新想法。本篇为文字实录,enjoy~ 视频回顾见 01:42:40 Large Kernel Makes CNN 阅读全文
摘要:
为什么是大 kernel 卷积? Transformer 目前在 CV 领域愈发火热,这份火热促使着优秀学者们思考一个更深层次的问题。部分学者认为 Transformer 之所以 work 更加本质的原因在于其大的感受野*(论文直达)*。根据有效感受野(ERF)理论,ERF 大小与 kernel 大 阅读全文
摘要:
本文将重点讲述在支持 MegEngine Windows Python wheel 过程中遇到的问题以及解决问题的流程。此文最后的解决方法可能不是最优,欢迎留言指正。 阅读全文
摘要:
如何让 AI 算法更精准地理解用户喜好又能保证用户数据安全呢?一个直观的想法就是直接在手机上进行模型训练,这样既避免了数据传输可能带来的泄露风险,又能不断提升模型性能。MegEngine 既可以在 GPU 上进行训练,又可以在移动设备上进行推理,那两者结合一下,是不是可以在移动设备上进行训练呢?答案是肯定的。 阅读全文