摘要：
一、GPU 利用率的定义 本文的 GPU 利用率主要指 GPU 在时间片上的利用率，即通过 nvidia-smi 显示的 GPU-util 这个指标。统计方式为：在采样周期内，GPU 上面有 kernel 执行的时间百分比。 二、GPU 利用率低的本质 常见 GPU 任务运行流程图如下： 如上图所示 阅读全文
摘要：
VIRT：virtual memory usage 虚拟内存 1、进程“需要的”虚拟内存大小，包括进程使用的库、代码、数据等 2、假如进程申请100m的内存，但实际只使用了10m，那么它会增长100m，而不是实际的使用量 RES：resident memory usage 常驻内存 1、进程当前使用 阅读全文
摘要：
1 概念介绍 在pytorch的tensor类中,有个is_leaf的属性，表示这个tensor是否是叶子节点：is_leaf 为False的时候,则不是叶子节点, is_leaf为True的时候为叶子节点(有的地方也叫做叶子张量) 1.1 为什么要叶子节点？ 对于tensor中的 requires 阅读全文