【YOLOv8改进- Backbone主干】BoTNet：基于Transformer，结合自注意力机制和卷积神经网络的骨干网络
YOLOv8目标检测创新改进与实战案例专栏
专栏目录： YOLOv8有效改进系列及项目实战目录 包含卷积，主干 注意力，检测头等创新机制 以及 各种目标检测分割项目实战案例
专栏链接: YOLOv8基础解析+创新改进+实战案例
介绍
摘要
我们提出了BoTNet，这是一种概念上简单但功能强大的骨干架构，结合了自注意力机制，用于图像分类、目标检测和实例分割等多个计算机视觉任务。通过仅在ResNet的最后三个瓶颈块中用全局自注意力替换空间卷积，并且没有其他更改，我们的方法显著提高了实例分割和目标检测的基线性能，同时减少了参数，且在延迟方面的开销极小。通过设计BoTNet，我们还指出带有自注意力的ResNet瓶颈块可以视为Transformer块。无需任何额外的技巧，BoTNet在使用Mask R-CNN框架时，在COCO实例分割基准上达到了44.4%的Mask AP和49.7%的Box AP，超过了之前ResNeSt [67]在COCO验证集上发布的单模型和单尺度的最好结果。最后，我们提出了BoTNet设计在图像分类中的简单适应性，生成的模型在ImageNet基准上实现了84.7%的top-1准确率，同时在TPU-v3硬件上的“计算”时间比流行的EfficientNet模型快1.64倍。我们希望这种简单而有效的方法将作为未来自注意力模型研究的强大基线。
文章链接
论文地址：论文地址
代码地址：代码地址
基本原理
BoTNet（Bottleneck Transformers for Visual Recognition）是一种结合自注意力机制和卷积神经网络的骨干架构，主要用于图像分类、目标检测和实例分割等视觉任务。BoTNet通过在ResNet的最后三个瓶颈块中用全局自注意力层替代空间卷积层，显著提高了基线性能，并减少了参数量，同时保持了较低的延迟。
-
瓶颈块与自注意力机制：
- ResNet瓶颈块：经典的ResNet瓶颈块使用多个3×3的卷积层来提取特征。尽管卷积操作能够有效捕捉局部信息，但对于需要建模长距离依赖关系的任务（如实例分割）存在一定局限。
- 多头自注意力（MHSA）：BoTNet通过用多头自注意力层替代ResNet瓶颈块中的3×3卷积层，来捕捉全局信息。这种替换使得BoTNet不仅能够捕捉局部特征，还能建模图像中的长距离依赖关系，从而更有效地完成复杂的视觉任务。
-
架构设计：
- 混合模型：BoTNet是一种混合模型，结合了卷积和自注意力机制。卷积层用于从大图像中高效地学习抽象和低分辨率的特征图，自注意力层则用于处理和聚合卷积层捕捉到的信息。
- 具体实现：BoTNet保留了ResNet的大部分架构，仅在最后三个瓶颈块中将3×3卷积层替换为多头自注意力层。这种设计在实例分割任务中显著提升了性能，例如在COCO数据集上，BoTNet在Mask R-CNN框架下实现了44.4%的Mask AP和49.7%的Box AP。
-
计算效率与扩展性：
- 计算效率：尽管自注意力机制的计算和内存需求随着空间维度呈二次方增长，但通过在低分辨率特征图上应用自注意力层，BoTNet有效地控制了计算开销。
- 扩展性：BoTNet不仅适用于图像分类，还在更高分辨率的图像检测和实例分割任务中表现出色。例如，BoTNet在训练72个epoch后，在更大图像尺寸（1280×1280）上的性能优于ResNet，展示了其良好的扩展性。
-
性能表现：
- COCO实例分割：在COCO实例分割基准上，BoTNet显著提升了基于ResNet的Mask R-CNN性能。例如，与使用ResNet-50的基线相比，BoTNet-50在使用相同超参数和训练配置下，Mask AP提高了1.2%。
- ImageNet分类：在ImageNet分类任务中，BoTNet在标准训练设置下表现优异，尤其在使用增强的数据增强和更长时间训练时，BoTNet模型的top-1准确率达到了84.7%。
-
相对位置编码：
- 相对位置编码：BoTNet采用了相对位置编码，使得自注意力操作能够感知位置，这对于视觉任务尤为重要。这种编码方式不仅考虑内容信息，还能有效关联不同位置的特征，从而提高模型性能。
核心代码
class BoT3(nn.Module):
def __init__(self, c1, c2, n=1, e=0.5, e2=1, w=20, h=20): # ch_in, ch_out, number, , expansion,w,h
super(BoT3, self).__init__()
c_ = int(c2 * e) # hidden channels
self.cv1 = Conv(c1, c_, 1, 1)
self.cv2 = Conv(c1, c_, 1, 1)
self.cv3 = Conv(2 * c_, c2, 1) # act=FReLU(c2)
self.m = nn.Sequential(
*[BottleneckTransformer(c_, c_, stride=1, heads=4, mhsa=True, resolution=(w, h), expansion=e2) for _ in
range(n)])
def forward(self, x):
return self.cv3(torch.cat((self.m(self.cv1(x)), self.cv2(x)), dim=1))
task与yaml配置
详见：https://blog.csdn.net/shangyanaf/article/details/140653663
