全连接层提速

分类和位置调整都是通过全连接层(fc)实现的，设前一级数据为后一级为，全连接层参数为，尺寸，一次前向传播(forward)即为：

计算复杂度为。

将进行SVD分解，并用前t个特征值近似：

原来的前向传播分解成两步：

计算复杂度变为 。

在实现时，相当于把一个全连接层拆分成两个，中间以一个低维数据相连：