【YOLOv8改进 - 注意力机制】NAM:基于归一化的注意力模块,将权重稀疏惩罚应用于注意力机制中,提高效率性能
YOLO目标检测创新改进与实战案例专栏
专栏目录: YOLO有效改进系列及项目实战目录 包含卷积,主干 注意力,检测头等创新机制 以及 各种目标检测分割项目实战案例
专栏链接: YOLO基础解析+创新改进+实战案例
摘要
识别较不显著的特征是模型压缩的关键。然而,这在革命性的注意力机制中尚未被研究。在这项工作中,我们提出了一种新颖的基于归一化的注意力模块(NAM),该模块抑制了较不显著的权重。它对注意力模块施加了权重稀疏惩罚,从而使其在保留相似性能的同时变得更具计算效率。在Resnet和Mobilenet上与其他三种注意力机制的比较表明,我们的方法可以带来更高的准确性。本文的代码可以在https://github.com/Christian-lyc/NAM公开获取。
文章链接
论文地址:论文地址
代码地址:代码地址
基本原理
NAM (Normalization-based Attention Module)是一种新颖的注意力机制,旨在通过抑制不太显著的特征来提高模型的效率。NAM模块将权重稀疏惩罚应用于注意力机制中,以提高计算效率同时保持性能。NAM模块通过批量归一化(Batch Normalization)的缩放因子来衡量通道的重要性,避免了SE(Squeeze-and-Excitation)、BAM(Bottleneck Attention Module)和CBAM(Convolutional Block Attention Module)中使用的全连接和卷积层。这使得NAM成为一种高效的注意力机制。
NAM模块结合了通道注意力和空间注意力的子模块,利用批量归一化的缩放因子来衡量通道和像素的重要性,从而实现对特征的有效识别和利用。
- 通道注意力子模块:使用批量归一化的缩放因子来衡量通道的重要性,通过计算权重来获得输出特征。
-
空间注意力子模块:应用像素归一化来衡量像素的重要性,得到输出特征。
-
权重稀疏惩罚:NAM模块通过添加正则化项到损失函数中,以抑制不太显著的权重,从而提高模型的泛化能力和效率。
数学公式:
NAM模块的损失函数如下所示:
$$
Loss = ∑(x,y) l(f(x, W), y) + p ∑ g(γ) + p ∑ g(λ)
$$
其中:
- x:输入
- y:输出
- W:网络权重
- l(·):损失函数
- g(·):l1范数惩罚函数
- p:平衡g(γ)和g(λ)的惩罚参数
通道注意力子模块的输出特征:
$$
M_c = sigmoid(W_γ(BN(F_1)))
$$
空间注意力子模块的输出特征(Equation 3):
$$
M_s = sigmoid(W_λ(BN_s(F_2)))
$$
其中:
- M_c:通道注意力子模块的输出特征
- M_s:空间注意力子模块的输出特征
- W_γ:通道注意力子模块的权重
- W_λ:空间注意力子模块的权重
- BN:批量归一化
- F_1、F_2:输入特征
核心代码
import torch.nn as nn
import torch
from torch.nn import functional as F
# 定义通道注意力模块
class Channel_Att(nn.Module):
def __init__(self, channels, t=16):
super(Channel_Att, self).__init__()
self.channels = channels # 输入的通道数
# 定义批量归一化层
self.bn2 = nn.BatchNorm2d(self.channels, affine=True)
def forward(self, x):
residual = x # 保存输入特征图以便后续相乘
x = self.bn2(x) # 对输入特征图进行批量归一化处理
# 获取批量归一化层的权重,并进行绝对值处理和归一化
weight_bn = self.bn2.weight.data.abs() / torch.sum(self.bn2.weight.data.abs())
# 调整特征图的维度顺序,从[N, C, H, W]变为[N, H, W, C]
x = x.permute(0, 2, 3, 1).contiguous()
# 将归一化后的权重与调整维度后的特征图相乘
x = torch.mul(weight_bn, x)
# 再将特征图的维度顺序调整回[N, C, H, W]
x = x.permute(0, 3, 1, 2).contiguous()
# 对特征图进行Sigmoid激活,并与残差相乘
x = torch.sigmoid(x) * residual
return x # 返回处理后的特征图
# 定义注意力模块
class Att(nn.Module):
def __init__(self, channels, shape, out_channels=None, no_spatial=True):
super(Att, self).__init__()
# 实例化通道注意力模块
self.Channel_Att = Channel_Att(channels)
def forward(self, x):
# 将输入特征图通过通道注意力模块
x_out1 = self.Channel_Att(x)
return x_out1 # 返回通道注意力处理后的特征图
task与yaml配置
详见:https://blog.csdn.net/shangyanaf/article/details/140083725