摘要：
十岁的小男孩 本文为终端移植的一个小章节。 Define： 如果一个m×n阶矩阵只需要少于m×n个参数来描述，就是一个结构化矩阵（structured matrix）。 优点： 不仅能减少内存消耗，还能通过快速的矩阵-向量乘法和梯度计算显著加快推理和训练的速度。 缺点： 1.结构约束会导致精确度的损 阅读全文
摘要：
十岁的小男孩 本文为终端移植的一个小章节。 目录 概念 1. 奇异值（SVD）分解 2. 张量分解 2.1 CP 分解( Canonical Polyadic Decomposition (CPD) 2.2 TD 分解( Tucker Decomposition ) 2.3 BTD 分解（block 阅读全文
摘要：
十岁的小男孩 本文为终端移植的一个小章节。 目录 背景 理论 实践 Quantize 背景 Neural Network模型一般都会占用很大的磁盘空间，比如AlexNet的模型文件就超过了200 MB.模型包含了数百万的参数，绝大部分的空间都用来存储这些模型的参数了。这些参数是浮点数类型的，普通的压 阅读全文
摘要：
十岁的小男孩 本文为终端移植的一个小章节。 目录 背景 结构剪枝 非结构剪枝 背景 网络剪枝和共享用于降低网络复杂度和解决过拟合问题。有一种早期应用的剪枝方法称为偏差权重衰减（Biased Weight Decay），其中最优脑损伤（Optimal Brain Damage）和最优脑手术（Optim 阅读全文