Eyeriss：卷积神经网络节能数据流的空间架构

Eyeriss：卷积神经网络节能数据流的空间架构

https://people.csail.mit.edu/emer/media/papers/2016.06.isca.eyeriss_architecture.pdf

深度卷积神经网络（CNNs）因其优越的精度，而被广泛应用于现代人工智能系统，但其代价是计算复杂度高。复杂性来自于需要同时处理高维卷积中的数百个滤波器和通道，这涉及大量的数据移动。尽管高度并行的计算范式，如SIMD/SIMT，有效地解决了实现高吞吐量的计算需求，但由于数据移动可能比计算更昂贵，因此能耗仍然很高。因此，找到一种支持以最小数据移动成本进行并行处理的数据流，对于在不影响准确性的情况下实现节能CNN处理至关重要。

在本文中，我们提出了一种新的数据流，称为行平稳（RS），它可以最大限度地减少空间架构上的数据移动能耗。这是通过在高维卷积中利用滤波器权重和特征图像素（即激活）的局部数据重用来实现的，并最小化部分和累积的数据移动。

与现有设计中使用的数据流仅减少某些类型的数据移动不同，所提出的RS数据流可以适应不同的CNN形状配置，并通过最大限度地利用处理引擎（PE）本地存储、直接的PE间通信和空间并行来减少所有类型的数据移动。为了评估不同数据流的能量效率，提出了一个分析框架，该框架比较了在相同硬件区域和处理并行性约束下的能量成本。使用AlexNet的CNN配置的实验表明，在卷积层（1.4×至2.5×）和全连接层（对于大于16的批量，至少1.3×）中，所提出的RS数据流比现有数据流更节能。RS数据流也已在制造的芯片上进行了演示，验证了能量分析。

 

图1. 由空间架构加速器和片外DRAM组成的通用CNN加速器系统的框图。放大显示了PE的高级结构。

表I. CONV/FC层的形状参数

 

 

图2. CONV/FC层的计算

 

表二. ALEXNET中的CONV/FC层形状配置

 

图3. 三种不同操作系统数据流变体的比较：（a）SOC-MOP、（b）MOC-MOP和（c）MOC-SOP。红色块表示操作系统数据流变体同时处理的映射区域。

表III.现有数据流之间的数据处理比较

 

 

图4. Eyeriss芯片的模具照片和规格

 

图5. PE中1D卷积基元的处理。在本例中，R=3，H=5

 

图6. 逻辑PE中用于处理2D卷积的数据流。（a） 过滤器重量的行在PE之间水平地重复使用。（b） ifmap像素的行在PE之间对角重用。（c） psum的行在PE上垂直累积。在这个例子中，R＝3，H＝5

 

图7. 存储区域分配和总存储大小之间的权衡。（a） 较小的内存在区域利用率方面具有较高的成本。（b） 由于全局缓冲区和RF之间的区域分配，芯片上的总存储大小因数据流而异

 

图8. 在四个层次中重用ifmap像素或过滤器权重的示例

 

图9. 通过四个层次结构进行psum积累的示例

 

图10. AlexNet中RS数据流的能耗分析

 

图12. 在PE阵列大小为（a）256、（b）512和（c）1024的情况下，AlexNet的CONV层中的六个数据流的能耗。（d） 与（c）相同，但具有数据类型中的能量分解。将能量归一化为阵列大小为256且批大小为1的RS的能量。RS数据流的能效是其他数据流的1.4倍至2.5倍

 

图14.（a） 每次操作的平均DRAM访问，（b）存储层次结构和（c）数据类型的能耗，以及（d）在PE阵列大小为1024的情况下AlexNet的FC层中的六个数据流的EDP。能量消耗和EDP被标准化为批量大小为1的RS的能量消耗和EPP

 

图15. 在相同面积约束但不同处理面积与存储面积之比的情况下，每次操作的归一化能量与处理延迟之间的关系

参考文献链接

https://people.csail.mit.edu/emer/media/papers/2016.06.isca.eyeriss_architecture.pdf