【YOLOv8改进】EMA（Efficient Multi-Scale Attention）：基于跨空间学习的高效多尺度注意力 (论文笔记+引入代码)
YOLO目标检测创新改进与实战案例专栏
专栏目录： YOLO有效改进系列及项目实战目录 包含卷积，主干 注意力，检测头等创新机制 以及 各种目标检测分割项目实战案例
专栏链接: YOLO基础解析+创新改进+实战案例
摘要
通道或空间注意力机制在许多计算机视觉任务中表现出显著的效果，可以生成更清晰的特征表示。然而，通过通道维度缩减来建模跨通道关系可能会对提取深度视觉表示带来副作用。本文提出了一种新颖高效的多尺度注意力（EMA）模块。该模块着重于保留每个通道的信息并减少计算开销，我们将部分通道重新调整为批次维度，并将通道维度分组为多个子特征，使空间语义特征在每个特征组内分布均匀。具体来说，除了在每个并行分支中对全局信息进行编码以重新校准通道权重外，这两个并行分支的输出特征还通过跨维度交互进一步聚合，以捕捉像素级的成对关系。我们在图像分类和目标检测任务上进行了广泛的消融研究和实验，使用流行的基准数据集（如CIFAR-100、ImageNet-1k、MS COCO和VisDrone2019）来评估其性能。
创新点
-
高效的多尺度注意力机制：EMA模块提出了一种高效的多尺度注意力机制，能够同时捕获通道和空间信息，并在不增加太多参数和计算成本的情况下有效地提高特征表示能力。
-
通道维度重塑：EMA模块通过将部分通道重塑为批量维度，将通道维度分组为多个子特征，从而使空间语义特征在每个特征组内得到良好分布，提高了特征的表达能力。
-
并行子网络设计：EMA模块采用了并行子网络设计，有助于捕获跨维度的交互作用和建立维度间的依赖关系，提高了模型对长距离依赖关系的建模能力。
-
性能优越：EMA模块在目标检测任务中表现出色，相较于传统的注意力模块（如CA和CBAM），EMA在保持模型尺寸和计算效率的同时，取得了更好的性能表现，证明了其在提升模型性能方面的有效性和高效性。
-
适用性广泛：EMA模块的模型尺寸适中，适合在移动终端上部署，并且在各种计算机视觉任务中都表现出色，具有广泛的应用前景和实际意义。
yolov8 引入
class EMA(nn.Module):
def __init__(self, channels, c2=None, factor=32):
super(EMA, self).__init__()
self.groups = factor # 分组数，默认为32
assert channels // self.groups > 0 # 确保通道数能够被分组数整除
self.softmax = nn.Softmax(-1) # 定义 Softmax 层，用于最后一维度的归一化
self.agp = nn.AdaptiveAvgPool2d((1, 1)) # 自适应平均池化，将特征图缩小为1x1
self.pool_h = nn.AdaptiveAvgPool2d((None, 1)) # 自适应平均池化，保留高度维度，将宽度压缩为1
self.pool_w = nn.AdaptiveAvgPool2d((1, None)) # 自适应平均池化，保留宽度维度，将高度压缩为1
self.gn = nn.GroupNorm(channels // self.groups, channels // self.groups) # 分组归一化
self.conv1x1 = nn.Conv2d(channels // self.groups, channels // self.groups, kernel_size=1, stride=1, padding=0) # 1x1卷积
self.conv3x3 = nn.Conv2d(channels // self.groups, channels // self.groups, kernel_size=3, stride=1, padding=1) # 3x3卷积
def forward(self, x):
b, c, h, w = x.size() # 获取输入张量的尺寸：批次、通道、高度、宽度
group_x = x.reshape(b * self.groups, -1, h, w) # 将张量按组重构：批次*组数, 通道/组数, 高度, 宽度
x_h = self.pool_h(group_x) # 对高度方向进行池化，结果形状为 (b*groups, c//groups, h, 1)
x_w = self.pool_w(group_x).permute(0, 1, 3, 2) # 对宽度方向进行池化，并转置结果形状为 (b*groups, c//groups, 1, w)
hw = self.conv1x1(torch.cat([x_h, x_w], dim=2)) # 将池化后的特征在高度方向拼接后进行1x1卷积
x_h, x_w = torch.split(hw, [h, w], dim=2) # 将卷积后的特征分为高度特征和宽度特征
x1 = self.gn(group_x * x_h.sigmoid() * x_w.permute(0, 1, 3, 2).sigmoid()) # 结合高度和宽度特征，应用分组归一化
x2 = self.conv3x3(group_x) # 对重构后的张量应用3x3卷积
x11 = self.softmax(self.agp(x1).reshape(b * self.groups, -1, 1).permute(0, 2, 1)) # 对 x1 进行自适应平均池化并应用Softmax
x12 = x2.reshape(b * self.groups, c // self.groups, -1) # 重构 x2 的形状为 (b*groups, c//groups, h*w)
x21 = self.softmax(self.agp(x2).reshape(b * self.groups, -1, 1).permute(0, 2, 1)) # 对 x2 进行自适应平均池化并应用Softmax
x22 = x1.reshape(b * self.groups, c // self.groups, -1) # 重构 x1 的形状为 (b*groups, c//groups, h*w)
weights = (torch.matmul(x11, x12) + torch.matmul(x21, x22)).reshape(b * self.groups, 1, h, w) # 计算权重，并重构为 (b*groups, 1, h, w)
return (group_x * weights.sigmoid()).reshape(b, c, h, w) # 将权重应用于原始张量，并重构为原始输入形状
task与yaml配置
详见：https://blog.csdn.net/shangyanaf/article/details/139160226
