全连接层提速
分类和位置调整都是通过全连接层(fc)实现的,设前一级数据为后一级为
,全连接层参数为
,尺寸
,一次前向传播(forward)即为:
计算复杂度为。
将进行SVD分解,并用前t个特征值近似:
原来的前向传播分解成两步:
计算复杂度变为 。
在实现时,相当于把一个全连接层拆分成两个,中间以一个低维数据相连:
分类和位置调整都是通过全连接层(fc)实现的,设前一级数据为后一级为
,全连接层参数为
,尺寸
,一次前向传播(forward)即为:
计算复杂度为。
将进行SVD分解,并用前t个特征值近似:
原来的前向传播分解成两步:
计算复杂度变为 。
在实现时,相当于把一个全连接层拆分成两个,中间以一个低维数据相连: