摘要：
如何使用TensorCores优化卷积 本文将演示如何在TVM中使用TensorCores编写高性能的卷积计划。假设卷积的输入有大量数据。首先介绍如何在GPU上优化卷积。 TensorCore简介 每个Tensor核心都提供一个4x4x4的矩阵处理阵列，该阵列可以运行 ，其中A，B，C和D是4x4矩 阅读全文
摘要：
本文将演示如何在TVM中编写高性能的卷积实现。以平方大小的输入张量和滤波器为例，并假设卷积的输入量很大。使用不同的布局来存储数据，以实现更好的数据局部性。缓冲区布局为HWCN，代表高度，宽度，通道，批次。 准备和算法 将固定大小用于256通道和14 x 14尺寸的输入张量。批处理大小为256。卷积过 阅读全文
摘要：
VTA：深度学习加速器堆栈 多功能Tensor加速器（VTA）是一个开放的，通用的，可定制的深度学习加速器，具有完整的基于TVM的编译器堆栈。设计VTA来展示主流深度学习加速器的最显着和共同的特征。TVM和VTA共同构成了一个端到端的硬件-软件深度学习系统堆栈，其中包括硬件设计，驱动程序，JIT运行 阅读全文
摘要：
TVM设计与构架构建 本文档适用于希望了解TVM体系结构和/或在项目上进行积极开发的开发人员。该页面的组织如下： • 实例编译流程Example Compilation Flow，描述TVM把一个模型的高级描述到可部署模块的步骤。 • “逻辑体系结构组件” Logical Architecture 阅读全文
摘要：
Cuda Stream流分析 Stream 一般来说，cuda c并行性表现在下面两个层面上： Kernel level Grid level Stream和event简介 Cuda stream是指一堆异步的cuda操作，他们按照host代码调用的顺序执行在device上。 典型的cuda编程模式 阅读全文