08 2021 档案

深度学习框架如何自动选择最快的算法？Fast Run 让你收获最好的性能！
摘要：作者：王博文 | 旷视 MegEngine 架构师 一、背景 对于深度学习框架来说，网络的训练/推理时间是用户非常看中的。在实际生产条件下，用户设计的 NN 网络是千差万别，即使是同一类数学计算，参数也各不相同。如果没有针对性的优化，框架就完全丧失竞争力。因此，在一类数学计算中，开发者们会开发多种高 阅读全文
posted @ 2021-08-24 16:37 MegEngine 阅读(402) 评论(0) 推荐(0) 编辑
值得收藏 | 深度剖析 TensorCore 卷积算子实现原理
摘要：作者：章晓 | 旷视 MegEngine 架构师 一、前言 2020 年 5 月 Nvidia 发布了新一代的 GPU 架构安培（Ampere）。其中和深度学习关系最密切的莫过于性能强劲的第三代的 TensorCore ，新一代的 TensorCore 支持了更为丰富的 DL（Deep Learni 阅读全文
posted @ 2021-08-19 13:09 MegEngine 阅读(4915) 评论(0) 推荐(0) 编辑
移动端 CPU 的深度学习模型推理性能优化——NCHW44 和 Record 原理方法详解
摘要：用户实践系列，将收录 MegEngine 用户在框架实践过程中的心得体会文章，希望能够帮助有同样使用场景的小伙伴，更好地了解和使用 MegEngine ~ 作者：王雷 | 旷视科技 研发工程师 背景 随着人工智能技术的发展及应用领域的不断扩大，算力较弱的移动设备成为模型推理的重要运算载体，优化其推理 阅读全文
posted @ 2021-08-17 15:24 MegEngine 阅读(742) 评论(0) 推荐(1) 编辑
Python 和 C/C++ 拓展程序如何性能优化？看这一篇文就够
摘要：作者：王璐璐 | 旷视 MegEngine 架构师 #一、 背景 在 MegEngine imperative runtime 的早期开发中，我们面临着一些的性能优化问题。除了一些已知需要重构的地方（早期设计时为了开发效率而牺牲性能的妥协），还存在一些未知的性能问题需要用 profiler 进行观测 阅读全文
posted @ 2021-08-11 11:09 MegEngine 阅读(736) 评论(0) 推荐(0) 编辑
深度学习算子优化-FFT
摘要：作者：严健文 | 旷视 MegEngine 架构师 背景 在数字信号和数字图像领域， 对频域的研究是一个重要分支。 我们日常“加工”的图像都是像素级，被称为是图像的空域数据。空域数据表征我们“可读”的细节。如果我们将同一张图像视为信号，进行频谱分析，可以得到图像的频域数据。 观察下面这组图 (来源) 阅读全文
posted @ 2021-08-10 10:23 MegEngine 阅读(936) 评论(0) 推荐(0) 编辑
利用共享内存实现比NCCL更快的集合通信
摘要：作者：曹彬 | 旷视 MegEngine 架构师 简介 从 2080Ti 这一代显卡开始，所有的民用游戏卡都取消了 P2P copy，导致训练速度显著的变慢。针对这种情况下的单机多卡训练，MegEngine 中实现了更快的集合通信算法，对多个不同的网络训练相对于 NCCL 有 3% 到 10% 的加 阅读全文
posted @ 2021-08-09 11:25 MegEngine 阅读(511) 评论(0) 推荐(0) 编辑
JIT in MegEngine
摘要：作者：王彪 | 旷视框架部异构计算组工程师 一、背景 什么是天元 旷视天元（MegEngine）是一个深度学习框架，它主要包含训练和推理两方面内容。训练侧一般使用 Python 搭建网络；而推理侧考虑到产品性能的因素，一般使用 C++ 语言集成天元框架。无论在训练侧还是推理侧，天元都担负着将训练和推 阅读全文
posted @ 2021-08-06 13:59 MegEngine 阅读(303) 评论(0) 推荐(0) 编辑
Fast Run：提高 MegEngine 模型推理性能的神奇功能
摘要：作者：王博文 | 旷视 MegEngine 架构师 一、背景 对于深度学习框架来说，网络的训练/推理时间是用户非常看中的。在实际生产条件下，用户设计的 NN 网络是千差万别，即使是同一类数学计算，参数也各不相同。如果没有针对性的优化，框架就完全丧失竞争力。因此，在一类数学计算中，开发者们会开发多种高 阅读全文
posted @ 2021-08-04 10:27 MegEngine 阅读(134) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示