weilongyitian

2018年11月9日

摘要：十岁的小男孩本文为终端移植的一个小章节。 Sparse Block Net 本节为优化加速的第二章节，主要介绍Sparse-block net。上章节为OP算子层的加速，本节为层级间的加速，主要针对CNN的加速。首先通过看一篇大佬JYZhang_sh的博客，之后通过一篇论文实际应用在网络层级结构。阅读全文

posted @ 2018-11-09 11:23 weilongyitian 阅读(742) 评论(0) 推荐(0) 编辑

Op-level的快速算法

摘要：十岁的小男孩本文为终端移植的一个小章节。目录引言 FFT Conv2d (7x7, 9x9) Winograd Conv2d (3x3, 5x5) 引言本节针对CNN进行加速计算的，主要有以下两种方法，FFT和Winograd两种方法。 FFT Conv2d (7x7, 9x9) FFT（F 阅读全文

posted @ 2018-11-09 10:30 weilongyitian 阅读(1030) 评论(0) 推荐(0) 编辑

2018年11月8日

轻量化模型设计

摘要：十岁的小男孩本文为终端移植的一个小章节。目录引言论文 A. MobileNets B. ShuffleNet C. Squeezenet D. Xception E. ResNeXt 引言在保证模型性能的前提下尽可能的降低模型的复杂度以及运算量。除此之外，还有很多工作将注意力放在更小、更高阅读全文

posted @ 2018-11-08 17:57 weilongyitian 阅读(2496) 评论(0) 推荐(0) 编辑

知识蒸馏

摘要：十岁的小男孩本文为终端移植的一个小章节。引言蒸馏神经网络，是Hinton在上面这篇论文提出来的一个概念。文章开篇用一个比喻来引入网络蒸馏：昆虫作为幼虫时擅于从环境中汲取能量，但是成长为成虫后确是擅于其他方面，比如迁徙和繁殖等。同理神经网络训练阶段从大量数据中获取网络模型，训练阶段可以利用大阅读全文

posted @ 2018-11-08 17:11 weilongyitian 阅读(4159) 评论(0) 推荐(0) 编辑

教师-学生网络

摘要：十岁的小男孩本文为终端移植的一个小章节。目录概念论文概念教师--学生网络的方法，属于迁移学习的一种。迁移学习也就是将一个模型的性能迁移到另一个模型上，而对于教师--学生网络，教师网络往往是一个更加复杂的网络，具有非常好的性能和泛化能力，可以用这个网络来作为一个soft target来指导阅读全文

posted @ 2018-11-08 16:00 weilongyitian 阅读(11190) 评论(0) 推荐(2) 编辑

迁移学习

摘要：十岁的小男孩本文为终端移植的一个小章节。目录背景理论实践很感谢这位博主，他做了超级详细的关于迁移学习的归纳整理，从最新文章到可以上手的代码，应有尽有：Transfer Learning 经典论文：A Survey on Deep Transfer Learning 背景吴恩达（Andr 阅读全文

posted @ 2018-11-08 15:15 weilongyitian 阅读(3226) 评论(0) 推荐(0) 编辑

核稀疏化

摘要：十岁的小男孩本文为终端移植的一个小章节。目录概念 Regular法 Irregular法论文 A. Learning Structured Sparsity in Deep Neural Networks B. Dynamic Network Surgery for Efficient DN 阅读全文

posted @ 2018-11-08 09:49 weilongyitian 阅读(2258) 评论(0) 推荐(0) 编辑

2018年11月7日

结构化矩阵

摘要：十岁的小男孩本文为终端移植的一个小章节。 Define：如果一个m×n阶矩阵只需要少于m×n个参数来描述，就是一个结构化矩阵（structured matrix）。优点：不仅能减少内存消耗，还能通过快速的矩阵-向量乘法和梯度计算显著加快推理和训练的速度。缺点： 1.结构约束会导致精确度的损阅读全文

posted @ 2018-11-07 17:19 weilongyitian 阅读(1281) 评论(0) 推荐(0) 编辑

低秩分解

摘要：十岁的小男孩本文为终端移植的一个小章节。目录概念 1. 奇异值（SVD）分解 2. 张量分解 2.1 CP 分解( Canonical Polyadic Decomposition (CPD) 2.2 TD 分解( Tucker Decomposition ) 2.3 BTD 分解（block 阅读全文

posted @ 2018-11-07 17:17 weilongyitian 阅读(35855) 评论(0) 推荐(10) 编辑

模型量化

摘要：十岁的小男孩本文为终端移植的一个小章节。目录背景理论实践 Quantize 背景 Neural Network模型一般都会占用很大的磁盘空间，比如AlexNet的模型文件就超过了200 MB.模型包含了数百万的参数，绝大部分的空间都用来存储这些模型的参数了。这些参数是浮点数类型的，普通的压阅读全文

posted @ 2018-11-07 17:16 weilongyitian 阅读(7490) 评论(0) 推荐(1) 编辑

公告