YOLOv8终极指南
YOLOv8是计算机视觉领域的最新发展,它是一种用于目标检测、实例分割和分类的最新先进模型。除了对模型架构本身的改进之外,YOLOv8通过一个用于使用YOLO模型的PIP包为开发者提供了一个新的友好界面。
在这篇文章中,我们将深入探讨YOLOv8在计算机视觉领域的重要性,将其与其他类似模型在准确性方面进行比较,并讨论YOLOv8 GitHub仓库的最新变化。
本文来源:https://blog.roboflow.com/whats-new-in-yolov8/
为适合中文阅读习惯,阅读更有代入感,原文翻译后有删改。您也可以查看原文。
1. YOLOv8是什么?
YOLOv8是最新的YOLO模型,可用于目标检测、图像分类和实例分割任务。YOLOv8由Ultralytics开发,该公司还创建了具有影响力和产业定义性的YOLOv5模型。与YOLOv5相比,YOLOv8包含许多架构和开发者体验的改变和改进。
截至本文写作时,YOLOv8仍在积极开发中,Ultralytics正在开发新功能并响应社区的反馈。确实,当Ultralytics发布一个模型时,它会得到长期的支持:该组织与社区合作,使模型达到最佳状态。
2. YOLO是如何发展成为YOLOv8的?
YOLO(You Only Look Once)系列模型在计算机视觉领域变得非常有名。YOLO之所以著名,是因为它在保持小型模型尺寸的同时具有相当高的准确性。YOLO模型可以在单个GPU上进行训练,这使其适用于广泛的开发者。机器学习从业者可以在边缘硬件或云中以低成本部署它。
自2015年Joseph Redmond首次发布以来,YOLO一直受到计算机视觉社区的关注。在早期版本(版本1-4)中,YOLO是在Redmond编写的称为Darknet的自定义深度学习框架中以C代码维护的。
YOLOv8作者Glenn Jocher在Ultralytics工作,他在PyTorch(来自Facebook的深度学习框架)中追随了YOLOv3仓库。随着影子仓库中训练的改进,Ultralytics最终推出了自己的模型:YOLOv5。
由于其灵活的Pythonic结构,YOLOv5迅速成为世界上最先进的仓库。这种结构允许社区发明新的建模改进,并迅速通过具有类似PyTorch方法的存储库分享它们。
除了强大的模型基础之外,YOLOv5的维护人员一直致力于支持模型周围的健康软件生态系统。随着社区的需求,他们积极修复问题并推动存储库的能力。
在过去的两年里,各种模型从YOLOv5 PyTorch存储库分支出来,包括Scaled-YOLOv4、YOLOR和YOLOv7。其他模型也在世界各地以其基于PyTorch的实现而涌现,如YOLOX和YOLOv6。在这过程中,每个YOLO模型都带来了新的SOTA技术,不断推动模型的准确性和效率。
在过去的六个月中,Ultralytics一直在研究YOLO的最新SOTA版本,即YOLOv8。YOLOv8于2023年1月10日发布。
3. 我为什么要使用YOLOv8?
以下是考虑在下一个计算机视觉项目中使用YOLOv8的几个主要原因:
- YOLOv8在Microsoft COCO和Roboflow 100上测得的准确性很高。
- YOLOv8带有许多开发者便利功能,从易于使用的CLI到良好结构化的Python包。
- YOLO周围有一个庞大的社区,YOLOv8模型周围的社区也在不断增长,这意味着计算机视觉领域的许多人可能在你需要指导时提供帮助。
YOLOv8在COCO上取得了强大的准确性。例如,YOLOv8m模型(中型模型)在COCO上测得50.2%的mAP。在Roboflow 100上进行评估时,这是一个专门评估模型在各种特定任务领域的性能的数据集,YOLOv8比YOLOv5得分要好得多。本文后面提供了更多关于此的性能分析信息。
此外,YOLOv8中的开发者便利功能也很显著。与其他模型不同,其中任务分散在许多不同的Python文件中,您可以执行这些文件,YOLOv8提供了一个CLI,使模型训练更加直观。除此之外,它还提供了一个Python包,提供比先前模型更无缝的编码体验。
在考虑使用模型时,YOLO周围的社区是引人注目的。许多计算机视觉专家了解YOLO及其工作原理,有很多关于实际使用YOLO的在线指导。尽管YOLOv8在本文撰写时是新的,但已有许多在线指南可供参考。
以下是我们自己的学习资源,可帮助您深入了解YOLO:
- 如何使用YOLOv8检测对象
- 如何在视频上运行YOLOv8检测
- YOLOv8模型概述(在Roboflow Models上)
- 如何在自定义数据集上训练YOLOv8模型
- 如何将YOLOv8模型部署到Raspberry Pi
- 用于训练YOLOv8目标检测模型的Google Colab笔记本
- 用于训练YOLOv8分类模型的Google Colab笔记本
- 用于训练YOLOv8分割模型的Google Colab笔记本
- 使用YOLOv8和ByteTRACK跟踪和计数车辆
让我们深入探讨YOLOv8的架构,以及它与先前YOLO模型的不同之处。
4. YOLOv8架构:深入解析
目前尚无YOLOv8的发表论文,因此我们缺乏对其创建过程中的研究方法和削减研究的直接了解。尽管如此,我们分析了存储库和有关该模型的信息,开始记录YOLOv8中的新特性。
如果你希望自行查看代码,请查看YOLOv8存储库,并查看此代码差异以了解一些研究是如何进行的。
这里我们提供了对影响深远的建模更新的快速摘要,然后我们将看一下模型的评估,这些评估已经说明了问题。
由GitHub用户RangeKing制作的以下图片显示了网络架构的详细可视化。
YOLOv8 架构,GitHub 用户 RangeKing 制作的可视化作品
4.1 无锚检测
YOLOv8是一种无锚模型。这意味着它直接预测对象的中心,而不是相对于已知锚框的偏移量。
在YOLO中锚框的可视化
锚框曾经是早期YOLO模型中棘手的一部分,因为它们可能代表目标基准框的分布,但不代表自定义数据集的分布。
YOLOv5的检测头
无锚检测减少了框预测的数量,从而加速了非最大抑制(NMS, Non-Maximum Suppression),这是一种复杂的后处理步骤,用于在推理后筛选候选检测。
YOLOv8的检测头
4.2 新的卷积
干部的第一个6x6卷积被3x3卷积替代,主要的构建块发生了变化,C2f替代了C3。该模块在下图中进行了总结,其中“f”是特征数,“e”是扩展率,CBS是由Conv、BatchNorm和SiLU组成的块。
在C2f中,来自Bottleneck(这是两个带有残差连接的3x3卷积的花哨名称)的所有输出都被串联在一起。而在C3中,仅使用了最后一个Bottleneck的输出。
新的YOLOv8 C2f模块
Bottleneck与YOLOv5中的相同,但第一个卷积的核大小从1x1更改为3x3。从这些信息中,我们可以看到YOLOv8开始恢复到2015年定义的ResNet块。
在neck中,特征直接串联而不强制要求相同的通道维度。这减少了参数数量和张量的总体大小。
4.3 结束镶嵌增强
深度学习研究往往侧重于模型架构,但YOLOv5和YOLOv8的训练过程是它们成功的重要组成部分。
YOLOv8在在线训练期间对图像进行增强。在每个时代,模型看到了提供的图像的稍微不同的变化。
其中一种增强称为镶嵌增强。这涉及将四个图像拼接在一起,迫使模型学习在新位置、部分遮挡和不同周围像素的对象。
棋盘照片的马赛克增强
然而,经验表明,如果在整个训练过程中执行此增强,性能会下降。因此,在最后十个训练时代中关闭它是有益的。
这种变化是YOLO建模在YOLOv5存储库和YOLOv8研究中随着时间的推移所受到的慎重关注的典范。
5. YOLOv8准确性改进
YOLOv8的研究主要受到对COCO基准的经验性评估的推动。随着网络和训练例程的每个部分的微调,运行新实验以验证这些变化对COCO建模的影响。
5.1 YOLOv8 COCO准确性
COCO(上下文中的常见对象)是评估目标检测模型的行业标准基准。在COCO上比较模型时,我们看的是mAP值和推理速度的FPS测量。模型应在相似的推理速度下进行比较。
下图显示了使用Ultralytics团队收集并在YOLOv8 README中发布的数据,YOLOv8在COCO上的准确性:
截至本文写作时,YOLOv8在COCO上的准确性在相似的推理延迟条件下是最先进的。
5.2 RF100准确性
在Roboflow,我们从Roboflow Universe中抽取了100个样本数据集,这是一个拥有超过100,000个数据集的存储库,用于评估模型对新领域的泛化能力。我们的基准由Intel的支持下开发,是为计算机视觉从业者设计的基准,旨在更好地回答问题:“这个模型在我的自定义数据集上表现如何?”
我们在我们的RF100基准上评估了YOLOv8,与YOLOv5和YOLOv7一起,下图显示了每个模型的mAP@.50的箱线图。
我们对每个模型的小版本进行了100个时代的运行,我们使用单个种子运行了一次,因此由于梯度抽签,请以谨慎的态度对待这个结果。
下图的箱线图告诉我们YOLOv8的异常值较少,而在Roboflow 100基准上的mAP总体上更好。
YOLO 相对于 RF100 的 mAP@.50
下面的条形图显示了每个RF100类别的平均mAP@.50。同样,YOLOv8胜过所有先前的模型。
YOLO 相对于 RF100 类别的平均 mAP@.50
与YOLOv5评估相比,YOLOv8模型在每个数据集上产生了类似的结果,或者显著改善了结果。
6. YOLOv8存储库和PIP包
YOLOv8代码存储库旨在成为社区使用和迭代模型的地方。由于我们知道该模型将持续改进,我们可以将初始YOLOv8模型结果作为基线,并期待随着发布新的迷你版本而进行的未来改进。
我们希望的最好结果是研究人员开始在Ultralytics存储库的基础上开发他们的网络。在YOLOv5的分支中一直在进行研究,但如果在一个地方制作模型并最终合并到主线中,将会更好。
6.1 YOLOv8存储库布局
YOLOv8模型使用与YOLOv5类似的代码,其中分类、实例分割和目标检测任务类型的支持采用相同的代码例程。
模型仍然使用相同的YOLOv5 YAML格式初始化,并且数据集格式也保持不变。
6.2 YOLOv8 CLI
Ultralytics软件包配备了一个CLI。这对许多YOLOv5用户来说是熟悉的,因为核心训练、检测和导出交互也是通过CLI完成的。
yolo task=detect mode=val model={HOME}/runs/detect/train/weights/best.pt data={dataset.location}/data.yaml
你可以在task中传递 [detect, classify, segment],在mode中传递 [train, predict, val, export],模型可以是未初始化的.yaml文件,也可以是先前训练过的.pt文件。
6.3 YOLOv8 Python包
除了可用的CLI工具外,YOLOv8现在还作为一个PIP包进行分发。这使得本地开发稍显困难,但解锁了将YOLOv8融入你的Python代码的所有可能性。
点击查看代码
from ultralytics import YOLO
# 加载模型
model = YOLO("yolov8n.yaml") # 从头开始构建一个新模型
model = YOLO("yolov8n.pt") # 加载预训练模型(推荐用于训练)
# 使用模型
results = model.train(data="coco128.yaml", epochs=3) # 训练模型
results = model.val() # 评估模型在验证集上的性能
results = model("https://ultralytics.com/images/bus.jpg") # 对图像进行预测
success = YOLO("yolov8n.pt").export(format="onnx") # 将模型导出为ONNX格式
7. YOLOv8注释格式
YOLOv8使用YOLOv5 PyTorch TXT注释格式,这是Darknet注释格式的修改版本。
查看Roboflow Convert工具,了解如何转换数据以在新的YOLOv8模型中使用。
https://roboflow.com/formats/yolov8-pytorch-txt?ref=blog.roboflow.com
8. YOLOv8标注工具
YOLOv8的创建者和维护者Ultralytics已经与Roboflow合作,成为YOLOv8项目中建议的标注和导出工具。使用Roboflow,我们可以为YOLOv8支持的所有任务(目标检测、分类和分割)标注数据,并导出数据以便在YOLOv8 CLI或Python包中使用。
9. 开始使用YOLOv8
要开始将YOLOv8应用于我们自己的用例,请查看我们关于如何在自定义数据集上训练YOLOv8的指南。
要了解其他人如何使用YOLOv8,请在Roboflow Universe上浏览其他YOLOv8模型、数据集和灵感。
对于将模型投入生产并使用主动学习策略不断更新模型的从业者,我们添加了一个路径,可以部署YOLOv8模型,将其用于我们的推理引擎,并用于数据集的标签辅助。或者,可以使用Roboflow Inference在设备上部署YOLOv8,这是一个开源推理服务器。
本文仅做学术分享,如有侵权,请联系删文。
作者:楚千羽
出处:https://www.cnblogs.com/chuqianyu/
本文来自博客园,本文作者:楚千羽,转载请注明原文链接:https://www.cnblogs.com/chuqianyu/p/17977059
本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须在文章页面给出原文连接,否则保留追究法律责任的权利!