模型压缩与部署 - 随笔分类(第2页) - 牛犁heart

使用 Python 接口编译和优化模型（AutoTVM）

摘要：在本节，将介绍与TVMC相同的知识，但展示的是如何使用Python API来完成它。完成本节后，我们将使用适用于 TVM 的 Python API 来完成以下任务：为TVM Runtime编译预训练的ResNet-50 v2模型通过编译的模型运行真实图像，并解释输出和模型性能。使用TVM在CP 阅读全文

posted @ 2022-07-17 23:34 牛犁heart 阅读(354) 评论(0) 推荐(0) 编辑

使用TVMC进行模型的编译与优化

摘要：TVMC介绍 TVMC,是TVM的命令行驱动程序，TVMC是一种通过命令行界面公开TVM功能的工具，例如uto-tuning/compiling/profiling和通过命令行接口运行模型在完成本节内容后，将使用 TVMC 来完成以下任务：为 TVM 运行时编译预训练 ResNet-50 v2 阅读全文

posted @ 2022-07-17 14:36 牛犁heart 阅读(690) 评论(0) 推荐(1) 编辑

OpenPPL的执行流程与类间关系UML表达

摘要：上一讲,对OpenPPL进行了介绍,以及通过官方文档,学习了它的python与C++的操作流程,以及如添加新的引擎与Op算子. 本节,将通过阅读代码通过UML梳理操作流程以及类之间的相互关系 src地址为：https://github.com/openppl-public/ppl.nn 一流程时序阅读全文

posted @ 2022-07-03 22:12 牛犁heart 阅读(123) 评论(0) 推荐(0) 编辑

高性能深度学习推理引擎 -- OpenPPL

摘要：OpenPPL OpenPPL是商汤基于自研高性能算字库的开源深度学习推理平台，能够让人工智能应用高效可靠地运行在现有的CPU/GPU等计算平台上，为云端场景提供人工智能推理服务 OpenPPL基于全自研高性能算子库，拥有极致调优的性能，同时提供云原生环境下的 AI模型多后端部署能力，并支持Open 阅读全文

posted @ 2022-06-30 00:27 牛犁heart 阅读(1755) 评论(0) 推荐(0) 编辑

机器学习编译 -- 什么是机器学习编译

摘要：机器学习编译课程主要由华盛顿大学计算机系博士生 -- 陈天奇博士讲授，在读博期间，先后带领团队打造了模块化深度学习系统NNVM（2016年）和深度学习编译器TVM（2017年），共同组成了深度学习到各种硬件的完整优化工具链。英文课程主页 https://mlc.ai/summer22/ 中文课程主阅读全文

posted @ 2022-06-18 23:07 牛犁heart 阅读(678) 评论(0) 推荐(0) 编辑

模型压缩 -- 知识蒸馏

摘要：轻量化网络已经是一个热点，主要的技术路线如下： 1、压缩已经训练好的大模型：知识蒸馏、剪枝（权重剪枝、通道剪枝）、权值量化、注意力迁移 2、重新设计轻量化模型：SqueezeNet、MobileNet系列、ShuffleNet系列、EfficientNet、EfficientDet等 3、加速卷积运阅读全文

posted @ 2022-06-05 20:21 牛犁heart 阅读(1153) 评论(0) 推荐(0) 编辑

牛犁heart

Stay Hungry，Stay Foolilsh

随笔分类 - 模型压缩与部署

公告