YOLOv8原理深度解读,超级详细【未完待续】
从第一步，到最后一步，带着你捋
如果这篇博客对你有帮助，希望你 点赞、收藏、关注、评论，欢迎您将本文转发给你的朋友,您的认可将是我创作下去最大的动力！
整体架构
Backbone： Feature Extractor提取特征的网络，其作用就是提取图片中的信息，供后面的网络使用
Neck ： 放在backbone和head之间的，是为了更好的利用backbone提取的特征,起着“特征融合”的作用。
Head：利用前面提取的特征，做出识别
常见的一些Backbone, Neck, Head网络
———————————————————————————————————————————
———————————————————————————————————————————
———————————————————————————————————————————
我们在后文讲述YOLOv8模型过程中会使用大量的术语和缩写。同样地，当我们在阅读网上这些YOLOv8的帖子的时候，我们会发现这些帖子（包括本文）都是默认你已经十分了解YOLOv1到YOLOv7的这些模型知识。或者说你起码要非常熟悉YOLOv5。
这是因为YOLOv8是博采众长的集大成之作。它参考了YOLOv1到YOLOv7系列的模型，博采众长，集各家优点于一身。
如果你在阅读我后文博客的过程中，发现有些有些设计思想你不熟悉，很多术语不知道是什么意思，那么你可以读读我下面这几篇有关YOLOv8前置知识的扫盲帖。这些帖子将有助于你深入理解并吃透YOLOv8
这些扫盲帖的编写需要花费一些时间。我会一篇篇写完，更新在这里，尽我全力带你了解YOLOv1到YOLOv7所有的模型。
浅析目标检测入门算法：YOLOv1,SSD,YOLOv2,YOLOv3,CenterNet,EfficientDet,YOLOv4_德彪稳坐倒骑驴的博客-CSDN博客本文致力于让读者对以下这些模型的创新点和设计思想有一个大体的认识，从而知晓YOLOv1到YOLOv4的发展源流和历史演进，进而对目标检测技术有更为宏观和深入的认知。本文讲解的模型包括：YOLOv1,SSD,YOLOv2,YOLOv3,CenterNet,EfficientDet,YOLOv4。https://blog.csdn.net/Albert233333/article/details/132729610
——
目标检测评估指标mAP：从Precision,Recall,PR曲线到AP_德彪稳坐倒骑驴的博客-CSDN博客本文从True Positive, False Positive和False Negative的定义出发，讲解了Precision和Recall的定义，如何绘制P-R(Precision Recall)曲线，如何进一步计算得出AP。本文提供了手动计算所有指标的过程以及用sklearn计算这些指标的代码以及P-R curve的示意图。通过阅读本文你可以从源头开始了解mAP这一指标是如何计算的。https://blog.csdn.net/Albert233333/article/details/132752216
——
YOLOv3模型原理深度解析_德彪稳坐倒骑驴的博客-CSDN博客本文从以下六个层面对YOLOv8的模型原理进行了解读。本文首先讲解了其backbone DarkNet53使用残差连接和1×1卷积带来的优势。然后针对backbone上的Feautre Pyramid Network在CNN自动特征提取、整合多尺度特征上的优势。然后本文讲解YOLOv3首次引入的anchor based方法。YOLOv3采用相对坐标的方式来推算绝对坐标。最后本文分析了损失函数的构成https://blog.csdn.net/Albert233333/article/details/132963137
———————————————————————————————————————————
———————————————————————————————————————————
———————————————————————————————————————————
Backbone
Darknet-53
53指的是“52层卷积”+output layer。
借鉴了其他算法的这些设计思想
借鉴了VGG的思想，使用了较多的3×3卷积，在每一次池化操作后，将通道数翻倍；
借鉴了network in network的思想，使用全局平均池化（global average pooling）做预测，并把1×1的卷积核置于3×3的卷积核之间，用来压缩特征；（我没找到这一步体现在哪里）
使用了批归一化层稳定模型训练，加速收敛，并且起到正则化作用。
以上三点为Darknet19借鉴其他模型的点。Darknet53当然是在继承了Darknet19的这些优点的基础上再新增了下面这些优点的。因此列在了这里
借鉴了ResNet的思想，在网络中大量使用了残差连接，因此网络结构可以设计的很深，并且缓解了训练中梯度消失的问题，使得模型更容易收敛。
使用步长为2的卷积层代替池化层实现降采样。（这一点在经典的Darknet-53上是很明显的，output的长和宽从256降到128，再降低到64，一路降低到8，应该是通过步长为2的卷积层实现的；在YOLOv8的卷积层中也有体现，比如图中我标出的这些位置）
特征融合
模型架构图如下
Darknet-53的特点可以这样概括：（Conv卷积模块+Residual Block残差块）串行叠加4次
Conv卷积层+Residual Block残差网络就被称为一个stage
上面红色指出的那个，原始的Darknet-53里面有一层 卷积，在YOLOv8里面，把一层卷积移除了
为什么移除呢？
原始Darknet-53模型中间加的这个卷积层做了什么？滤波器（卷积核）的个数从 上一个卷积层的512个，先增加到1024个卷积核，然后下一层卷积的卷积核的个数又降低到512个
移除掉这一层以后，少了1024个卷积核，就可以少做1024次卷积运算，同时也少了1024个3×3的卷积核的参数，也就是少了9×1024个参数需要拟合。这样可以大大减少了模型的参数，（相当于做了轻量化吧）
移除掉这个卷积层，可能是因为作者发现移除掉这个卷积层以后，模型的score有所提升，所以才移除掉的。为什么移除掉以后，分数有所提高呢？可能是因为多了这些参数就容易，参数过多导致模型在训练集删过拟合，但是在测试集上表现很差，最终模型的分数比较低。你移除掉这个卷积层以后，参数减少了，过拟合现象不那么严重了，泛化能力增强了。当然这个是，拿着你做实验的结论，反过来再找补，再去强行解释这种现象的合理性。
过拟合（是否可以这样解释，你可以问问老师）
通过MMdetection官方绘制册这个图我们可以看到，进来的这张图片经过一个“Feature Pyramid Network(简称FPN)”，然后最后的P3、P4、P5传递给下一层的Neck和Head去做识别任务。 PAN（Path Aggregation Network）
在这里插入图片描述
“FPN是自顶向下，将高层的强语义特征传递下来。PAN就是在FPN的后面添加一个自底向上的金字塔，对FPN补充，将低层的强定位特征传递上去，
FPN是自顶（小尺寸，卷积次数多得到的结果，语义信息丰富）向下（大尺寸，卷积次数少得到的结果），将高层的强语义特征传递下来，对整个金字塔进行增强，不过只增强了语义信息，对定位信息没有传递。PAN就是针对这一点，在FPN的后面添加一个自底（卷积次数少，大尺寸）向上（卷积次数多，小尺寸，语义信息丰富）的金字塔，对FPN补充，将低层的强定位特征传递上去，又被称之为“双塔战术”。
FPN层自顶向下传达强语义特征，而特征金字塔则自底向上传达强定位特征，两两联手，从不同的主干层对不同的检测层进行参数聚合,这样的操作确实很皮。
自底向上增强
而 PAN（Path Aggregation Network）是对 FPN 的一种改进，它的设计理念是在 FPN 后面添加一个自底向上的金字塔。PAN 引入了路径聚合的方式，通过将浅层特征图（低分辨率但语义信息较弱）和深层特征图（高分辨率但语义信息丰富）进行聚合，并沿着特定的路径传递特征信息，将低层的强定位特征传递上去。这样的操作能够进一步增强多尺度特征的表达能力，使得 PAN 在目标检测任务中表现更加优秀。
FPN Explained | Papers With Code
https://jonathan-hui.medium.com/understanding-feature-pyramid-networks-for-object-detection-fpn-45b227b9106c
正常的YOLOv8对象检测模型输出层是P3、P4、P5三个输出层，为了提升对小目标的检测能力，新版本的YOLOv8 已经包含了P2层（P2层做的卷积次数少，特征图的尺寸（分辨率）较大，更加利于小目标识别），有四个输出层。Backbone部分的结果没有改变，但是Neck跟Header部分模型结构做了调整。这就是为什么v8模型yaml文件里面（https://github.com/ultralytics/ultralytics/tree/main/ultralytics/cfg/models/v8）有p2这个模型
新增加的这个P6，是为了引入更多的参数量，多卷积了一层，是给xlarge那个参数量准备的，属于专门适用于高分辨图片（图片尺寸很大，有大量可挖掘的信息）的版本。
model=yolov8n.ymal 使用正常版本
model=yolov8n-p2.ymal 小目标检测版本
model=yolov8n-p6.ymal 高分辨率版本
xxxYOLOv8 版本升级支持小目标检测与高分辨率图像输入
YOLOv8计划提供的模型的列表Models - Ultralytics YOLOv8 Docs；https://github.com/ultralytics/ultralytics/tree/main/ultralytics/cfg/models
自定义数据集上训练YOLOv5Train Custom Data - Ultralytics YOLOv8 Docs
整个YOLOv8的backbone，画出图来是下面这样
我们可以看到这个backbone由三种模块组成，CBS、C2f、SPPF
卷积模块使用CBS
三部分组成（1）一个二维卷积+（2）二维BatchNorm+（3）SiLU激活函数
SiLU的激活是通过sigmoid函数乘以其输入来计算的，即xσ(x)。
SiLU的优势:（没必要这样理解，多余的）
无上界（避免过拟合）（Diss:哪个激活函数是有上界的？）
有下界（产生更强的正则化效果）（Diss，同上，很多的激活函数都是有下界的，这句话有没有必要）
平滑（处处可导 更容易训练）（agree：确实比relu平滑）
x<0具有非单调性，函数值先降后增，-1以前是减函数，-1以后是增函数（对分布有重要意义 这点也是Swish和ReLU的最大区别）
老师认为SiLU函数优秀在哪里？
你去看棕黄色的那条线，是d(SiLU)，也就是SiLU激活函数的导函数，你可以看到，当x趋近于正无穷的时候，它的导函数趋近于一个比1大一点点的恒定的值
从下界那个点的自变量值（函数值最低的那个点，对应的横坐标，也就是接近-1的那个点），往正半轴走，整个函数的单调递增的
Residual block使用C2f
一个CBS卷积层，
一个split，就是把 height × width × c_out这个feature map的channel这一维度（c_out）切成两半,一半的feature map是h × w × 0.5c_cout,另一半是h × w × 0.5c_cout。这个把channel一劈两半的行为称之为split
bottleneck之前的feature map和bottleneck之后的feature map进行concat融合，这叫残差连接
n个Bottleneck串行，每个Bottleneck都和最后一个Bottleneck concatenate起来，类似于做了特征融合
优势：让YOLOv8可以在保证轻量化的同时获得更加丰富的梯度流信息。（我没看出来哪里实现了轻量化？ 梯度流信息丰富性如何体现？梯度流信息丰富了有什么好处？）
SPPF
进来一个CBS卷积层，然后串行的三个Maxpooling，未做Maxpooling的feature map和每多做一次Maxpooling后得到的feauture map进行concat 拼接，实现特征融合
用CSP的“网络设计方法“对Darknet进行轻量化
把原始的feature map和原始feauture map经过卷积操作后得到的结果进行concat，就是CSP的思想
你单独去看backbone，你发现好像这些模块之间似乎没有使用CSP思想。一路串行下来，没有任何的跨层融合。
其实CSP思想的用在了组成backbone的这几个模块上，C2f模块和SPPF模块。C2f模块里面的DarknetBottleneck（add=True）也使用了CSP网络结构设计思想。
Neck
Neck上CSP思想的运用。
下图有四个 红心"c" 使用了CSP的思想。统统都是没做过卷积的原始feature map和将“原始特征图”进行过很多个卷积操作的feauture map进行融合，融合的位置就是在 四个 红心"c" 那里。
PAN-FPN
PAN-FPN，是指的在在YOLOv8的neck部分模仿PANet里面的backbone，也就是FPN网络（feature pyramid network）进行组织。PAN-FPN这个网络的特点进行简单概括，就是先下采样，然后再上采样，上采样和下采样的这两个分支之间还有两个跨层融合连接。（也可以反过来，先上采样，再下采样）
用C2f模块作为residual block
没啥好说的，就是图中这四个绿蓝色的模块
Head
先分叉开两个CBS卷积模块，然后过一个Conv2d,最后分别算出classifcation loss和Bbox loss
Decoupled-Head解耦头
Head 部分相比 YOLOv5 改动较大，从原先的耦合头换成了目前主流的解耦头结构（Decoupled-Head），将分类和检测头分离。同时由于使用了DFL（Distributional Focal Loss） 的思想，因此回归头的通道数也变成了4*reg_max的形式，reg_max默认16。
它这个解耦头Decoupled Head,具体是怎么把分类和识别这两个任务分离开的，你要去看代码，就是下面这段。（我现在还没搞懂是怎么做到拆分开的，后面需要用到这一块的时候，再来详细看，详细了解）
一个head做目标识别，用Bbox Loss来衡量。损失函数包括两部分CIoU和DFL
一个head做分类，用用BCE 二分类交叉熵损失函数 衡量,实际用的是VFL（Varifocal Loss）
损失函数的设计
分类损失函数
这里注意，虽然在“\ultralytics\yolo\utils\loss.py” line 11 像下面这样定义了VarifocalLoss,，但是在最后训练的时候，实际采用的分类损失是BCE loss
class VarifocalLoss(nn.Module):
# Varifocal loss by Zhang et al. https://arxiv.org/abs/2008.13367
def __init__(self):
super().__init__()
def forward(self, pred_score, gt_score, label, alpha=0.75, gamma=2.0):
weight = alpha * pred_score.sigmoid().pow(gamma) * (1 - label) + gt_score * label
with torch.cuda.amp.autocast(enabled=False):
loss = (F.binary_cross_entropy_with_logits(pred_score.float(), gt_score.float(), reduction="none") *
weight).sum()
return loss
证据我提供在下面。在“\ultralytics\yolo\v8\detect\train.py” line 187有下面这段代码。是train.py文件中这个类下面的代码“class Loss:”
首先我们可以看到对于cls. loss, YOLOv8的作者，没有使用varifocal loss,(尽管前面在loss.py作者定义了varifocal loss),而是使用了BCE loss
然后bbox loss 是 CIoU和DFL
然后这三个loss加权平均得到最终的loss
# cls loss
# loss[1] = self.varifocal_loss(pred_scores, target_scores, target_labels) / target_scores_sum # VFL way
loss[1] = self.bce(pred_scores, target_scores.to(dtype)).sum() / target_scores_sum # BCE
# bbox loss
if fg_mask.sum():
loss[0], loss[2] = self.bbox_loss(pred_distri, pred_bboxes, anchor_points, target_bboxes, target_scores,
target_scores_sum, fg_mask)
loss[0] *= self.hyp.box # box gain
loss[1] *= self.hyp.cls # cls gain
loss[2] *= self.hyp.dfl # dfl gain
return loss.sum() * batch_size, loss.detach() # loss(box, cls, dfl)
分类损失VFL Loss
样本不均衡，正样本极少，负样本极多，需要降低负样本对 loss 的整体贡献了，于是用了focal loss。VFL当然具备focal loss拥有的所有特性。
VFL独有的：（1）学习 IACS 得分( localization-aware 或 IoU-aware 的 classification score）（2）如果正样本的 gt_IoU 很高时，则对 loss 的贡献更大一些，可以让网络聚焦于那些高质量的样本上，也就是说训练高质量的正例对AP的提升比低质量的更大一些。
目标识别损失1-DFL(Distribution Focal Loss)
这个东西的公式入下
https://arxiv.org/pdf/2006.04388.pdf
将框的位置建模成一个 general distribution，让网络快速的聚焦于和目标位置距离近的位置的分布
目标识别损失2-CIOU Loss
CIoU讲述的最清楚的一篇文章——
目标检测中的损失函数IoU、GIoU、DIoU、CIoU、SIoU_siou和ciou__-CHEN-_的博客-CSDN博客
考虑到长宽比
三角形凑成一堆，三角形匹配问题
样本匹配
YOLOv8则是（1）抛弃了Anchor-Base方法，转而使用Anchor-Free方法，（2）找到了一个替代边长比例的匹配方法——TaskAligned
Anchor-Based是什么？——Anchor-Based是指的利用anchor匹配正负样本，从而缩小搜索空间，更准确、简单地进行梯度回传，训练网络。
Anchor-Based方法的劣势是什么？——但是因为下列这些劣势，我们抛弃掉了anchor 这一多余的步骤：anchor也会对网络的性能带来影响，（1）如巡训练匹配时较高的开销、（2）有许多超参数需要人为尝试调节等
Anchor-free的优势是什么？——Anchor-free模型则摒弃或是绕开了锚的概念，用更加精简的方式来确定正负样本，同时达到甚至超越了两阶段anchor-based的模型精度，并拥有更快的速度。
为与NMS（non maximum suppression非最大抑制）搭配，训练样例的Anchor分配需要满足以下两个规则：——设计TaskAligned这个规则初衷
正常对齐的Anchor应当可以预测高分类得分，同时具有精确定位；
不对齐的Anchor应当具有低分类得分，并在NMS阶段被抑制。 基于上述两个目标，TaskAligned设计了一个新的Anchor alignment metric 来在Anchor level 衡量Task-Alignment的水平。并且，Alignment metric 被集成在了 sample 分配和 loss function里来动态的优化每个 Anchor 的预测。（完全没看懂这句话）
Anchor alignment metric：
分类得分和 IoU表示了这两个任务的预测效果，所以，TaskAligned使用分类得分和IoU的高阶组合来衡量Task-Alignment的程度。使用下列的方式来对每个实例计算Anchor-level 的对齐程度：
s 和 u 分别为分类得分和 IoU 值，α 和 β 为权重超参。 从上边的公式可以看出来，t 可以同时控制分类得分和IoU 的优化来实现 Task-Alignment，可以引导网络动态的关注于高质量的Anchor。TaskAlignedAssigner 的匹配策略简单总结为： 根据分类与回归的分数加权的分数选择正样本。
Training sample Assignment：
为提升两个任务的对齐性，TOOD（Task-aligned One-stage Object Detection）聚焦于Task-Alignment Anchor，采用一种简单的分配规则选择训练样本：对每个实例，选择m个具有最大t值的Anchor作为正样本，选择其余的Anchor作为负样本。然后，通过损失函数(针对分类与定位的对齐而设计的损失函数)进行训练。
看完后觉得哪些地方可以改进？
损失函数改进，毕竟还有个数人数的那个指标可以加进损失函数里
小目标检测的方法往里套
加入Transformer
拿市面上的对卷积层做一个优化改造方法拿来用
数据增强，最SOTA的方法拿来用
把backbone上更新、最SOTA的模型拿来用，——使用多个主干网络融合来提取特征（Multi-Backbone？
模型轻量化、加速
SOTA的新出的追踪算法或者追踪算法的优化
远距离小目标检测
"集智书童"知识星球里面和YOLOv8相关的链接
YOLOv8结构图和五大改进点：https://wx.zsxq.com/dweb2/index/topic_detail/814854811155422
YOLOv8详细解读：https://wx.zsxq.com/dweb2/index/topic_detail/814854811155422
YOLOv8用TensorRT部署到硬件https://wx.zsxq.com/dweb2/index/topic_detail/584185818452144
YOLOv8+DeepStreamhttps://wx.zsxq.com/dweb2/index/topic_detail/214885552854821
YOLOv8+跟踪：https://wx.zsxq.com/dweb2/index/topic_detail/814885552518882
YOLO相关的所有https://articles.zsxq.com/id_4plsnfatosf0.html
目标检测相关的https://wx.zsxq.com/dweb2/index/topic_detail/812848148881212
如果这篇博客对你有帮助，希望你 点赞、收藏、关注、评论，您的认可将是我创作下去最大的动力！
本人承认本篇博客里面有（1）许多的细节错误需要校正（2）很多内容并没有解释清楚，比如YOLOv8的backbone是如何设计的？neck是如何设计的？head 里面的decoupled head是什么？之前是什么样的？好在哪里？
我会在后面的半年里通过多家付费课程包括不限于，深度之眼-目标检测、咕泡AI-YOLO系列、自动驾驶之心-目标检测等课程进行深入学习。我学习到的知识和精华内容我都会补充在这篇博客里。
《目标检测》-第32章-浅析YOLOv8 - 知乎
