摘要：
自动机器学习（AutoML） 不再需要苦恼于学习各种机器学习的算法 目录： 一、为什么需要自动机器学习 二、超参数优化 Hyper-parameter Optimization 三、元学习 Meta Learning 四、神经网络架构搜索 Neural Architecture Search 五、自 阅读全文
摘要：
MegEngine基本概念 基本概念 MegEngine 是基于计算图的深度神经网络学习框架。 本文内容会简要介绍计算图及其相关基本概念，以及在 MegEngine 中的实现。 计算图 结合一个简单的数学表达式来介绍计算图中的基本概念。下图是 y = (w * x) + b 这一数学表达式的计算图表 阅读全文
摘要：
MegEngine计算图、MatMul优化解析 本文针对天元在推理优化过程中所涉及的计算图优化与 MatMul 优化进行深度解读，希望能够帮助广大开发者在利用天元 MegEngine「深度学习，简单开发」的同时，也能够了解 CPU 优化的相关知识。从而帮助大家在模型部署的整体流程中更好地进行加速；在 阅读全文
摘要：
MegEngine 框架设计 MegEngine 技术负责人许欣然将带了解一个深度学习框架是如何把网络的定义逐步优化并最终执行的，从框架开发者的视角来看待深度学习。 背景 AI 浪潮一波又一波，仿佛不会算法就落后于时代。 深度学习框架处理了各种设备的计算细节、求导、计算优化序列的工作，而在动态、静态 阅读全文
摘要：
旷视MegEngine核心技术升级 7 月 11 日，旷视研究院在 2020 WAIC · 开发者日「深度学习框架与技术生态论坛」上围绕 6 月底发布的天元深度学习框架（MegEngine）Beta 版本核心技术升级与开源生态建设进行了首次深度解读。 7 月 11 日，旷视研究院在 2020 WAI 阅读全文
摘要：
MegEngine亚线性显存优化 MegEngine经过工程扩展和优化，发展出一套行之有效的加强版亚线性显存优化技术，既可在计算存储资源受限的条件下，轻松训练更深的模型，又可使用更大batch size，进一步提升模型性能，稳定batchwise算子。使用MegEngine训练ResNet18/Re 阅读全文
摘要：
MegEngine推理性能优化 MegEngine「训练推理一体化」的独特范式，通过静态图优化保证模型精度与训练时一致，无缝导入推理侧，再借助工业验证的高效卷积优化技术，打造深度学习推理侧极致加速方案，实现当前业界最快运行速度。本文从推理侧的数据排布（Inference Layout）讲起，接着介绍 阅读全文
摘要：
deeplearning模型量化实战 MegEngine 提供从训练到部署完整的量化支持，包括量化感知训练以及训练后量化，凭借“训练推理一体”的特性，MegEngine更能保证量化之后的模型与部署之后的效果一致。本文将简要介绍神经网络量化的原理，并与大家分享MegEngine量化方面的设计思路与实操 阅读全文
摘要：
Wide & Deep的OneFlow网络训练 HugeCTR是英伟达提供的一种高效的GPU框架，专为点击率（CTR）估计训练而设计。 OneFlow对标HugeCTR搭建了Wide & Deep 学习网络（WDL)。OneFlow-WDL网络实现了模型并行与稀疏更新，在8卡12G TitanV的服 阅读全文
摘要：
BERT模型的OneFlow实现 模型概述 BERT(Bidirectional Encoder Representations from Transformers)是NLP领域的一种预训练模型。本案例中，基于论文BERT: Pre-training of Deep Bidirectional Tr 阅读全文