摘要:
TVM整体流程(参考:TVM介绍) 机器学习模型在用TVM优化编译器框架进行变换时的步骤: 从Tensorflow/pytorch或ONNX等框架导入模型 import层是TVM从其他框架中导入模型的地方 注:TVM为每个前端提供的支持水平不尽相同,可尝试将模型转换为ONNX 转换到Relay Re 阅读全文
摘要:
docker安装 可自行到https://tvm.apache.org/docs/install/docker.html 官网下载安装 环境: 系统: ubuntu22.04系统, docker版本: 20.10.17 cuda: 11.6 因此在安装时选用了nvidia/cuda:11.6.1-d 阅读全文
摘要:
上一讲,对OpenPPL进行了介绍,以及通过官方文档,学习了它的python与C++的操作流程,以及如添加新的引擎与Op算子. 本节,将通过阅读代码通过UML梳理操作流程以及类之间的相互关系 src地址为:https://github.com/openppl-public/ppl.nn 一 流程时序 阅读全文
摘要:
OpenPPL OpenPPL是商汤基于自研高性能算字库的开源深度学习推理平台,能够让人工智能应用高效可靠地运行在现有的CPU/GPU等计算平台上,为云端场景提供人工智能推理服务 OpenPPL基于全自研高性能算子库,拥有极致调优的性能,同时提供云原生环境下的 AI模型多后端部署能力,并支持Open 阅读全文
摘要:
ubuntu安装中文输入法成功教程: https://zhuanlan.zhihu.com/p/508797663 博主希望尽量的不去宿主机中操作,达到对原系统的保护的效果,并且能够进行日常的深度学习网络的训练,因此想到了docker(Kubernetes 太高端) 使用docker安装带有显卡的镜 阅读全文
摘要:
机器学习编译课程主要由华盛顿大学计算机系博士生 -- 陈天奇博士讲授,在读博期间,先后带领团队打造了模块化深度学习系统NNVM(2016年)和深度学习编译器TVM(2017年),共同组成了深度学习到各种硬件的完整优化工具链。 英文课程主页 https://mlc.ai/summer22/ 中文课程主 阅读全文
摘要:
按照 CPU 功能升级迭代的顺序,CPU 的工作模式有实模式、保护模式、长模式,这几种工作模式下 CPU 执行程序的方式截然不同,下面我们一起来探讨这几种工作模式。 从一段死循环的代码说起 int main() { int* addr = (int*)0; cli(); //关中断 while(1) 阅读全文
摘要:
本节来讲讲 ARM 的 AArch64 体系结构,扩展一下视野。 看看什么是 AArch64 体系,然后分析一下 AArch64 体系有什么特点,最后了解一下 AArch64 体系下运行程序的基础,包括 AArch64 体系下的寄存器、运行模式、异常与中断处理,以及 AArch64 体系的地址空间与 阅读全文
摘要:
本届来看看操作系统下面的硬件层面,重点研究一下 CPU 的原理和它的加速套路。 CPU的原理初探 从操作系统的位置来看,它除了能够向上封装,为软件调用提供 API(也就是系统调用),向下又对硬件资源进行了调度和抽象。我们通常更为关注系统调用,但为了更好地设计实现一个 OS,我们当然也要对硬件足够了解 阅读全文
摘要:
KVM 技术是基于内核的虚拟机,同样的 KVM 和传统的虚拟化技术一样,需要虚拟出一台完整的计算机,对于某些场景来说成本会比较高,其实还有比 KVM 更轻量化的虚拟化技术,也就是今天我们要讲的容器。 什么是容器 容器的名词源于 container,但不得不说我们再次被翻译坑了。相比“容器”,如果翻译 阅读全文