11 2022 档案

剪枝在pytorch中是如何实现的？
摘要：Pytorch中剪枝源码可参考： https://github.com/pytorch/pytorch/blob/master/torch/nn/utils/prune.py 可参考： pytorch中函数接口：https://runebook.dev/zh-CN/docs/pytorch/-ind 阅读全文
posted @ 2022-11-27 22:12 牛犁heart 阅读(599) 评论(0) 推荐(0) 编辑
pytorch中的剪枝操作
摘要：深度学习技术依赖于过参数化模型，这是不利于部署的，相反，生物神经网络是使用高效的稀疏连接的。 通过减少模型中的参数数量来压缩模型的技术非常重要，为减少内存、电池和硬件的消耗，而牺牲准确性，实现在设备上部署轻量级模型。 在Pytorch中，主要通过torch.nn.utils.prune来进行剪枝，以 阅读全文
posted @ 2022-11-20 22:40 牛犁heart 阅读(1961) 评论(0) 推荐(0) 编辑
网络剪枝 -- 理论
摘要：剪枝分类 从network pruning 的粒度来说，可以分为结构化剪枝(structured pruning) 和非结构化剪枝(Unstructured pruning) 两类 早期的一些方法是基于非结构化的， 它裁剪的粒度为单个神经元。 如果对kernel进行非结构化剪枝，则得到的kernel 阅读全文
posted @ 2022-11-11 00:20 牛犁heart 阅读(1689) 评论(0) 推荐(0) 编辑
知识蒸馏 -- 简单代码 实现
摘要：知识蒸馏 还是先来简单回顾下知识蒸馏的基本知识。 知识蒸馏的核心思想就是：通过一个预训练的大的、复杂网络(教师网络)将其所学到的知识迁移到另一个小的、轻量的网络(学生网络)上，实现模型的轻量化。 目标： 以loss为标准，尽量的降低学生网络与教师网络之间的差异，实现学生网络学习教师网络所教授的知识。 阅读全文
posted @ 2022-11-06 23:08 牛犁heart 阅读(3706) 评论(0) 推荐(0) 编辑
知识蒸馏 -- 定位蒸馏LD
摘要：定位蒸馏 定位蒸馏：Localization Distillation,简称LD 论文地址： Localization Distillation for Dense Object Detection 开源代码地址： https://github.com/HikariTJU/LD MMDetectio 阅读全文
posted @ 2022-11-06 00:42 牛犁heart 阅读(717) 评论(0) 推荐(0) 编辑
Linux的二进制表示格式—ELF
摘要：之前在解决项目中关于解析core文件中，了解了关于ELF的相关知识，当时还处于萌新（现在还处于萌新状态）对于ELF格式那是一脸懵，今天就对ELF做一个简单的了解。 ELF 首先一个文本文件只有经过编译、链接形成一个可执行文件，也就是0、1代码，才能被硬件设备所识别。如下图所示： 其中，Linux下二 阅读全文
posted @ 2022-11-03 00:13 牛犁heart 阅读(993) 评论(0) 推荐(0) 编辑