基于YOLOv8/YOLOv7/YOLOv6/YOLOv5的自动驾驶目标检测系统详解（深度学习+Python代码+PySide6界面+训练数据集）

摘要：开发自动驾驶目标检测系统对于提高车辆的安全性和智能化水平具有至关重要的作用。本篇博客详细介绍了如何运用深度学习构建一个自动驾驶目标检测系统，并提供了完整的实现代码。该系统基于强大的YOLOv8算法，并对比了YOLOv7、YOLOv6、YOLOv5，展示了不同模型间的性能指标，如mAP、F1 Score等。文章深入解释了YOLOv8的原理，提供了相应的Python代码、训练数据集，并集成了一个基于PySide6的界面。

系统能够精准检测和分类自动驾驶目标，支持通过图片、图片文件夹、视频文件及摄像头进行检测，包含柱状图分析、标记框类别、类别统计、可调Conf、IOU参数和结果可视化等功能。还设计了基于SQLite的用户管理界面，支持模型切换和UI自定义。本文旨在为深度学习初学者提供实用指导，代码和数据集见文末。本文结构如下：

目录

➷点击跳转至文末所有涉及的完整代码文件下载页☇

演示与介绍视频：https://www.bilibili.com/video/BV13J4m1a7KF/
YOLOv8/v7/v6/v5项目合集下载：https://mbd.pub/o/bread/ZZyUmZ9v
YOLOv8/v5项目完整资源下载：https://mbd.pub/o/bread/ZZubmpls
YOLOv7项目完整资源下载：https://mbd.pub/o/bread/ZZyUmJpv
YOLOv6项目完整资源下载：https://mbd.pub/o/bread/ZZyUlptv

前言

        在当前的技术革新浪潮中，自动驾驶技术作为一项前沿技术，正逐渐成为汽车工业与人工智能领域研究的热点。自动驾驶目标检测系统，作为自动驾驶技术的核心组成部分，对于提高车辆的安全性和智能化水平具有至关重要的作用。这一系统能够帮助自动驾驶车辆实时、准确地识别和定位周围的行人、车辆、交通标志等多种目标，是实现车辆自主导航和决策的基础。

        在自动驾驶目标检测的领域内，最近几年的研究进展主要集中在提高检测算法的准确性、速度以及在各种复杂环境下的鲁棒性。以YOLO系列为代表的目标检测算法在这一进程中扮演了重要角色。

        首先，YOLOv8算法进一步优化了速度与准确性的平衡，通过改进的网络架构和训练策略，实现了在实时性要求较高的自动驾驶应用场景中的高效应用[1]。与此同时，针对自动驾驶中常见的小目标检测问题，研究者们提出了基于YOLOv8的改进算法，通过引入注意力机制和多尺度特征融合技术，显著提高了对远距离小目标的检测能力[2]。

        YOLOv7在处理高动态范围场景，如夜间或逆光条件下的目标检测方面，展现了优异的性能。通过引入新的光照适应性处理层和增强的数据预处理方法，YOLOv7能够更好地适应不同光照条件，提高了检测的准确率和鲁棒性[3]。

        YOLOv6通过深度学习优化算法和更精细的锚点匹配策略，进一步提升了模型的泛化能力和对复杂场景的适应性。此外，YOLOv6在多目标跟踪方面也取得了重要进展，为自动驾驶车辆在复杂交通环境中的实时决策提供了强有力的技术支持[4]。

        对于YOLOv5，虽然它是YOLO系列中较早的版本，但其在自动驾驶领域内仍然被广泛应用，特别是在资源受限的嵌入式系统中。YOLOv5通过优化模型结构和推理流程，实现了在保证较高准确性的同时，大幅度提升运行效率[5]。
        自动驾驶目标检测的研究和发展离不开高质量的数据集。从传统的PASCAL VOC和MS COCO到针对自动驾驶特别设计的KITTI和Waymo Open Dataset，数据集的不断更新和扩充为算法的改进和性能评估提供了重要支持。Waymo Open Dataset是目前最大、最全面的自动驾驶数据集之一，它提供了大量的高分辨率图像和3D点云数据，用于训练和测试目标检测算法。

        当前的研究现状显示，尽管已经取得了显著的进步，但自动驾驶目标检测领域仍面临着一系列挑战，如在极端天气条件下的检测性能、模型的实时处理能力、以及在多样化环境中的适应性等。未来的研究将需要进一步探索更高效的算法、更强大的模型泛化能力，以及更精细的检测策略，以满足实际应用中日益增长的需求。

        本文在自动驾驶目标检测系统的研究和开发领域做出了显著贡献，具体表现在以下几个方面：

  1. 采用最先进的YOLOv8算法进行自动驾驶目标检测：通过深入比较YOLOv8与先前版本（YOLOv7、YOLOv6、YOLOv5）的性能，本文突出了YOLOv8在自动驾驶目标检测中的优越性能。这不仅为自动驾驶领域提供了一种更高效、更准确的目标检测方法，也为后续研究者和从业者提供了全新的研究思路和实践手段。
  2. 利用PySide6实现友好的用户界面：通过采用Python的PySide6库，本文成功开发出一个界面友好、操作直观的自动驾驶目标检测系统。该系统极大地降低了用户的操作难度，提升了用户体验，有助于推广YOLOv8算法的应用，促进自动驾驶技术的普及和发展。
  3. 设计登录管理功能，增强系统安全性：本文在系统中加入了登录管理功能，增强了系统的安全性，并为将来引入更多个性化功能奠定了基础。这一设计思想反映了对用户体验和数据安全的深刻理解，展现了作者在系统开发过程中的细致入微。
  4. 对YOLOv8模型的深入研究与评估：本文不仅应用了YOLOv8算法进行目标检测，还对其性能进行了全面的评估和分析，包括精确度、召回率等关键指标的评价，以及模型在不同条件下的表现分析。这一部分的内容极大地丰富了读者对YOLOv8算法性能的理解，为进一步的算法优化和改进提供了坚实的基础。
  5. 提供完整的数据集和代码资源包：为了促进YOLOv8算法的学习和应用，本文提供了包括训练和测试用的详细数据集以及实现自动驾驶目标检测系统的完整代码资源包。这些资源的分享，不仅使得读者能够方便地复现研究结果，还为自动驾驶领域的进一步研究和技术开发提供了宝贵的实践材料。

1. 数据集介绍

        在自动驾驶技术的发展过程中，目标检测作为其中的核心任务，它的性能在很大程度上决定了整个系统的可靠性和安全性。为了深入研究并提升自动驾驶系统中目标检测的效率和准确性，本文介绍了一个精心构建和标注的数据集，该数据集专为训练和评估自动驾驶目标检测模型而设计。

        本数据集包含了29,800张图像，这些图像分为23,800张训练图像、3,000张验证图像和3,000张测试图像。这样的分布确保了模型在训练期间有足够的数据来学习不同的特征，并能在验证和测试阶段公正地评估模型的泛化能力。数据集的图像来自多种驾驶环境，包括城市街道、乡村道路，以及不同的天气和光照条件，模拟了自动驾驶车辆在现实世界中可能遇到的复杂场景。

        在对这些图像进行预处理时，我们进行了归一化处理，以确保输入模型的数据具有统一的尺度和分布。同时，为了增强模型的鲁棒性，我们还应用了一系列的数据增强技术，包括随机旋转、翻转、缩放和色彩抖动等，这些操作不仅提高了数据的多样性，也帮助模型学习到更多环境变化下的目标特征。

        分析目标在图像中的位置和尺寸分布，我们发现大部分目标在垂直方向上（y坐标）主要集中在图像的中间区域，而在水平方向上（x坐标）则分布较为均匀。这意味着在进行目标检测时，模型需要对图像中部区域给予更多关注。尺寸分布方面，我们注意到大多数目标占据了图像中较小的区域，这表明许多目标可能位于远距离，而边界框的高度通常比宽度更为集中，这可能与目标的物理特性有关。

        数据集中的目标类型丰富，涵盖了汽车、行人、自行车、不同颜色的交通信号灯、卡车等，其中汽车类别的样本数量最多，这与实际道路场景中的车辆频繁出现相符合。行人和自行车作为常见的弱势交通参与者，其样本数量也较为充足，保证了模型对这些目标的检测能力。交通信号灯按颜色细分，可以精确指导自动驾驶车辆进行正确的行为决策。而卡车等其他类别虽然样本量较少，但也足够模型学习并区分这些重要的交通元素。博主使用的类别代码如下：

Chinese_name = {"biker": "骑手",
                "car": "汽车",
                "pedestrian": "行人",
                "trafficLight": "交通灯",
                "trafficLight-Green": "绿灯",
                "trafficLight-GreenLeft": "左转绿灯",
                "trafficLight-Red": "红灯",
                "trafficLight-RedLeft": "左转红灯",
                "trafficLight-Yellow": "黄灯",
                "trafficLight-YellowLeft": "左转黄灯",
                "truck": "卡车"}

        通过这些细致的标注和深入的数据分析，我们的数据集不仅适用于YOLOv8等先进目标检测算法的训练与评估，而且也提供了实验和研究自动驾驶系统在多样化环境中目标检测性能的理想平台。我们相信，通过使用这个数据集，研究者和开发者能够推动自动驾驶目标检测技术的进步

2. 系统界面效果

        系统以PySide6作为GUI库，提供了一套直观且友好的用户界面。下面，我将详细介绍各个主要界面的功能和设计。

（1）系统提供了基于SQLite的注册登录管理功能。用户在首次使用时需要通过注册界面进行注册，输入用户名和密码后，系统会将这些信息存储在SQLite数据库中。注册成功后，用户可以通过登录界面输入用户名和密码进行登录。这个设计可以确保系统的安全性，也为后续添加更多个性化功能提供了可能性。

（2）在主界面上，系统提供了支持图片、视频、实时摄像头和批量文件输入的功能。用户可以通过点击相应的按钮，选择要进行自动驾驶目标检测的图片或视频，或者启动摄像头进行实时检测。在进行检测时，系统会实时显示检测结果，并将检测记录存储在数据库中。

（3）此外，系统还提供了一键更换YOLOv8模型的功能。用户可以通过点击界面上的"更换模型"按钮，选择不同的YOLOv8模型进行检测。与此同时，系统附带的数据集也可以用于重新训练模型，以满足用户在不同场景下的检测需求。

（4）为了提供更个性化的使用体验，这里系统支持界面修改，用户可以自定义图标、文字等界面元素。例如，用户可以根据自己的喜好，选择不同风格的图标，也可以修改界面的文字描述。

3. YOLOv8算法原理

        在探讨YOLOv8算法的原理时，我们首先需要理解YOLO（You Only Look Once）系列算法的核心理念，即在单次前向传播过程中同时进行目标的定位和分类。这种一步到位的检测方式使得YOLO算法在速度和效率上有着显著的优势。YOLOv8作为这一系列中的最新迭代，不仅继承了前代YOLO算法的这些优点，而且在结构设计和性能上都有了显著的改进，从而进一步提升了检测的准确性和速度。

        YOLOv8算法的结构可以分为三个主要部分：Backbone（主干网络）、Neck（连接网络）和Head（检测头）。在Backbone部分，YOLOv8采用了CSP（Cross Stage Partial networks）结构，这种结构有效地平衡了模型的学习能力和参数量。CSP结构通过部分跨阶段连接，促进了梯度的直接传播，这对于深层网络的学习是极为有益的。它还减少了计算量，因为它允许网络在少量的参数下进行更深层次的特征学习。

        Neck部分则是负责提取不同尺度特征并进行融合的关键模块。YOLOv8的Neck部分利用了SPP（Spatial Pyramid Pooling）结构和FPN（Feature Pyramid Networks）技术。SPP能够提取多尺度的上下文信息，这对于检测不同尺寸的目标至关重要。而FPN采用了一个自顶向下的结构，将高层的语义信息传递到低层，从而实现了从粗到细的特征融合。

        在Head部分，YOLOv8采取了自适应标签分配（adaptive label assignment）策略，这是一种更为灵活的标签分配方式，允许模型根据目标的不同特性自动调整标签。这意味着算法能够根据目标的大小、形状以及其在图像中的上下文信息，动态地选择最合适的锚点，这种策略能够有效地减少标签分配误差，提升模型的性能。

        YOLOv8还引入了AutoML技术，在算法的设计和优化过程中自动寻找最优的模型参数和结构。这种技术可以减轻手动调参的工作量，确保了YOLOv8在不同的检测场景下都能达到最佳性能。此外，YOLOv8还支持云端训练和边缘计算，使得算法可以在资源受限的设备上进行训练和推断，同时还可以利用云端的强大计算能力进行大规模的训练任务。

        综上所述，YOLOv8通过其独特的结构设计，不仅继承了YOLO系列的高速检测特性，而且还通过CSP网络结构和先进的特征融合技术，显著提升了对于各种尺寸目标的检测能力。这些技术的融合使得YOLOv8在目标检测任务中，无论是在准确度还是速度上，都表现出了卓越的性能。

4. 代码简介

        在本节中，我们将详细介绍如何使用YOLOv8进行自动驾驶目标检测的代码实现。代码主要分为两部分：模型预测和模型训练。

4.1 模型预测

        在模型预测部分，首先导入了OpenCV库和YOLO模型。OpenCV库是一个开源的计算机视觉和机器学习软件库，包含了众多的视觉处理函数，使用它来读取和处理图像。YOLO模型则是要用到的目标检测模型。

import cv2  
from ultralytics import YOLO

        接着，加载自行训练好的YOLO模型。这个模型是在大量的图像上预训练得到的，可以直接用于目标检测任务。

model.load_model(abs_path("weights/best-yolov8n.pt", path_type="current"))

        然后，使用OpenCV读取了一个图像文件，这个图像文件作为要进行目标检测的图像输入。

img_path = abs_path("test_media/1.jpg")
image = cv_imread(img_path)

        在读取了图像文件之后，将图像大小调整为850x500，并对图像进行预处理，就可以使用模型进行预测了。

image = cv2.resize(image, (850, 500))
pre_img = model.preprocess(image) 
pred, superimposed_img = model.predict(pre_img)

4.2 模型训练

        在这部分博客内容中，我们将深入探讨一个使用PyTorch框架和Ultralytics YOLO库进行模型训练的实际案例。通过解析提供的代码，我们将一探究竟，看看如何利用这些强大的工具来训练一个自动驾驶目标检测模型。

        代码的核心逻辑是首先设置好训练环境，然后加载预训练的YOLO模型，并在此基础上进行进一步的训练以适应我们的特定任务——在这里是自动驾驶目标检测。这个过程涉及到许多细节，包括数据路径的设置、模型参数的配置以及训练过程的初始化。

        首先，代码通过import语句导入必要的Python包，包括操作系统接口os、PyTorch库torch、YAML文件解析库yaml以及Ultralytics的YOLO模型。紧接着，我们设置设备变量device，这样模型就可以在GPU上进行训练（如果可用），这是深度学习训练过程中提升速度的关键。

import os

import torch
import yaml
from ultralytics import YOLO  # 导入YOLO模型
from QtFusion.path import abs_path
device = "cuda:0" if torch.cuda.is_available() else "cpu"

        接着，我们定义了一个工作进程数workers和一个批次大小batch。然后，我们设置了数据集名称data_name和数据集配置文件的路径data_path，这里使用了一个辅助函数abs_path来确保获取到文件的绝对路径。

workers = 1
batch = 8

data_name = "SelfDriving"
data_path = abs_path('datasets/SelfDriving/driving.yaml', path_type='current')  # 数据集的yaml的绝对路径
unix_style_path = data_path.replace(os.sep, '/')

# 获取目录路径
directory_path = os.path.dirname(unix_style_path)')

        接下来，代码读取了数据集的YAML配置文件，并根据当前的目录结构对其进行了更新，确保了模型训练时引用的路径是正确的。

# 读取YAML文件，保持原有顺序
with open(data_path, 'r') as file:
    data = yaml.load(file, Loader=yaml.FullLoader)
# 修改path项
if 'path' in data:
    data['path'] = directory_path
    # 将修改后的数据写回YAML文件
    with open(data_path, 'w') as file:
        yaml.safe_dump(data, file, sort_keys=False)

        在加载预训练模型的部分，我们加载了预训练模型，随后启动了训练过程。这部分代码通过指定数据集配置文件路径、训练设备、工作进程数、图像尺寸、训练周期和批次大小等参数，调用了model.train方法来开始训练。

model = YOLO(abs_path('./weights/yolov5nu.pt', path_type='current'), task='detect')  # 加载预训练的YOLOv8模型
# model = YOLO('./weights/yolov5.yaml', task='detect').load('./weights/yolov5nu.pt')  # 加载预训练的YOLOv8模型
# Training.
results = model.train(  # 开始训练模型
    data=data_path,  # 指定训练数据的配置文件路径
    device=device,  # 自动选择进行训练
    workers=workers,  # 指定使用2个工作进程加载数据
    imgsz=640,  # 指定输入图像的大小为640x640
    epochs=120,  # 指定训练100个epoch
    batch=batch,  # 指定每个批次的大小为8
    name='train_v5_' + data_name  # 指定训练任务的名称
)

model = YOLO(abs_path('./weights/yolov8n.pt'), task='detect')  # 加载预训练的YOLOv8模型
results2 = model.train(  # 开始训练模型
    data=data_path,  # 指定训练数据的配置文件路径
    device=device,  # 自动选择进行训练
    workers=workers,  # 指定使用2个工作进程加载数据
    imgsz=640,  # 指定输入图像的大小为640x640
    epochs=120,  # 指定训练100个epoch
    batch=batch,  # 指定每个批次的大小为8
    name='train_v8_' + data_name  # 指定训练任务的名称
)

        在自动驾驶目标检测领域，对训练过程的损失函数进行分析是至关重要的。它不仅反映了模型学习的状况，还指示了模型的性能可能存在的问题。

        首先，让我们考察训练损失函数的变化。损失函数图中显示了三个主要部分的损失：边界框损失（box_loss）、分类损失（cls_loss）以及目标置信度损失（dfl_loss）。在训练过程中，所有三个损失值随着迭代次数的增加而显著下降，显示了模型在学习如何准确地定位目标、分类目标以及预测目标置信度方面取得了进步。平滑的曲线表示了经过特定算法处理后的趋势线，提供了更清晰的视角来观察损失值的下降趋势。

        特别值得注意的是，分类损失（cls_loss）和目标置信度损失（dfl_loss）的降低速率相对较快，这说明模型在区分不同类别的目标以及减少误检测方面做得相当好。这对于自动驾驶系统尤为重要，因为错误地分类一个行人或车辆可能导致严重的安全风险。

        在验证损失函数中，我们看到了类似的趋势，所有损失值都随着迭代次数的增加而下降。验证损失的下降趋势表明，模型在未见过的数据上也具有良好的泛化能力，这是实际应用中的关键要求。验证集的损失值略高于训练集，这是正常现象，因为验证集用于测试模型在非训练数据上的表现。
        在性能评价指标方面，精确度（precision）、召回率（recall）、平均精度均值（mAP@0.5）和更严格的平均精度均值（mAP@0.5-0.95）均随着迭代次数的增加而提高。精确度衡量了模型识别出的目标中有多少是正确的，而召回率衡量了所有正确目标中有多少被模型识别出来。mAP@0.5考虑了交并比（IoU）阈值为0.5时的平均精度，而mAP@0.5-0.95考虑了从0.5到0.95的所有阈值下的平均精度。YOLOv8在所有这些指标上都展示了优秀的性能，特别是在召回率上，随着训练的进行，模型能够检测到更多的正类目标。

        在深度学习模型的评估过程中，精确度-召回率（Precision-Recall，简称PR）曲线是衡量模型性能的重要工具，特别是在目标检测任务中，它能够揭示模型对于不同类别目标检测能力的细致情况。根据提供的PR曲线图，我们可以对YOLOv8模型在自动驾驶目标检测任务上的性能进行专业分析。

        根据F1-Confidence Curve图，我们可以分析模型对各类目标的检测性能。曲线图中展示了多个类别的F1分数与置信度阈值之间的关系。在理想情况下，F1曲线会接近顶部左侧，表示即使在较低置信度阈值下也能保持较高的F1分数。我们可以观察到，不同类别的F1分数在置信度阈值变化时展现出不同的趋势，这些趋势揭示了模型在识别各类目标时的性能差异。

        从曲线中可以看出，某些类别如汽车（car）和行人（pedestrian）的F1分数在多数置信度阈值下都相对较高，这表明模型在检测这些常见目标上表现出较好的性能。然而，对于其他一些类别，如不同颜色和方向的交通灯（trafficLight-RedLeft, trafficLight-Green, 等），F1分数在整个置信度范围内普遍较低，这可能表明模型在这些特定任务上存在辨识困难。

        整体来看，模型在所有类别上的平均F1分数达到了0.70，在置信度阈值约为0.282时。这是一个相当不错的结果，表明模型在大多数情况下能够平衡好精确度和召回率。然而，值得注意的是，即便是在平均F1分数达到峰值的置信度阈值下，仍然有改进的空间。例如，提高交通灯检测的准确性对于自动驾驶车辆理解和遵守交通规则至关重要。为此，研究人员可能需要更深入地研究这些类别的低F1分数原因，并探索改进措施，如数据增强、更复杂的特征提取方法或者是专门针对这些类别的训练策略。

         综合上述分析，YOLOv8在自动驾驶目标检测任务上的训练结果令人鼓舞。损失函数的稳定下降以及精确度和召回率的持续提高表明，模型具有很强的学习能力和泛化能力。这些结果预示着模型在实际应用中有望实现高效且准确的目标检测性能，这对于自动驾驶领域来说是至关重要的。

4.3 YOLOv5、YOLOv6、YOLOv7和YOLOv8对比

（1）实验设计：

        本实验旨在评估和比较YOLOv5、YOLOv6、YOLOv7和YOLOv8几种模型在自动驾驶目标检测任务上的性能。为了实现这一目标，博主分别使用使用相同的数据集训练和测试了这四个模型，从而可以进行直接的性能比较。本文将比较分析四种模型，旨在揭示每种模型的优缺点，探讨它们在工业环境中实际应用的场景选择。

模型 图像大小 (像素) mAPval 50-95 CPU ONNX 速度 (毫秒) A100 TensorRT 速度 (毫秒) 参数数量 (百万) FLOPs (十亿)
YOLOv5nu 640 34.3 73.6 1.06 2.6 7.7
YOLOv8n 640 37.3 80.4 0.99 3.2 8.7
YOLOv6N 640 37.5 - - 4.7 11.4
YOLOv7-tiny 640 37.4 - - 6.01 13.1

（2）度量指标：

  • F1-Score：F1-Score是精确率（Precision）和召回率（Recall）的调和平均值。精确率是指模型正确识别的正例与所有识别为正例的案例之比，而召回率是指模型正确识别的正例与所有实际正例之比。F1-Score对于不平衡的数据集或者需要同时考虑精确率和召回率的任务特别重要。
  • mAP（Mean Average Precision）：mAP是衡量模型在多个类别上平均检测准确度的指标。它计算了模型在所有类别上的平均精度，是目标检测领域中常用的性能度量。
名称 YOLOv5nu YOLOv6n YOLOv7-tiny YOLOv8n
mAP 0.704 0.714 0.842 0.742
F1-Score 0.68 0.72 0.85 0.70

（3）实验结果分析：

        在我们的自动驾驶目标检测系统研究中，对比了YOLO系列中的四个不同版本的性能：YOLOv5nu、YOLOv6n、YOLOv7-tiny、YOLOv8n。通过在同一数据集上进行严格的实验，并使用F1-Score和mAP这两个关键的度量指标，我们对每个模型的性能进行了细致的分析。

        在这些实验中，mAP（mean Average Precision）作为一个关键指标，代表了模型在不同置信度阈值下的平均精度。一个高的mAP值表明模型具有更好的检测质量和准确性。F1-Score是精确度和召回率的调和平均值，它提供了对模型在精确识别目标和尽可能不遗漏目标两个方面的整体表现的评估。

        从实验结果中可以观察到，YOLOv7-tiny以0.842的mAP和0.85的F1-Score领先于其他版本，表现出卓越的目标检测能力。这可能归因于YOLOv7-tiny在模型结构和算法优化方面的进步。紧随其后的是YOLOv6n，它展现了与YOLOv5nu相比更优的性能，这显示了YOLO系列随着版本迭代在检测性能上的逐步提升。而YOLOv8n，尽管在mAP上达到了0.742的结果，比YOLOv5nu的0.704有所提高，但其F1-Score仅为0.70，这表明在精确率和召回率的平衡方面还有提升空间。

        综合分析，我们可以得出结论，YOLOv7-tiny在我们的测试中表现最为突出，尤其在处理复杂的自动驾驶场景时。这表明了在选择合适的目标检测模型时，我们不仅要关注速度和效率，还要综合考量模型的准确性和可靠性。这些实验结果对于自动驾驶领域中目标检测系统的研发具有重要指导意义。未来，我们希望继续探索和优化YOLO系列的最新版本，以实现更加精准和高效的自动驾驶目标检测解决方案。

4.4 代码实现

        在现代计算机视觉领域，将深度学习模型应用于实时图像处理任务已成为一项重要技术。本博客将重点介绍如何通过YOLOv8模型实现自动驾驶目标检测的完整过程。此任务不仅涉及模型的准确性，还包括用户界面的交互性和友好性，以便于用户能够直观地观察和评估模型的检测结果。

（1）引入必要的库
        首先，我们导入必要的模块，包括用于系统操作的sys模块，用于时间控制的time模块，以及用于图像处理的cv2模块。这些模块为我们提供了在Python环境中运行应用程序所需的基本功能。QtWidgets和QtCore模块来自PySide6库，用于创建图形用户界面（GUI），而QtFusion库用于提供图形和多媒体处理功能。这里的YOLOv8Detector类是我们将要使用的物体检测模型。

import sys  # 导入sys模块，用于访问与Python解释器相关的变量和函数
import time  # 导入time模块，用于获取当前时间

import cv2  # 导入OpenCV库，用于图像处理
from QtFusion.widgets import QMainWindow  # 从QtFusion库导入FBaseWindow类，用于创建主窗口
from QtFusion.handlers import MediaHandler  # 从QtFusion库导入MediaHandler类，用于处理媒体流
from QtFusion.utils import drawRectBox, get_cls_color  # 从QtFusion库导入drawRectBox函数，用于在图像上绘制矩形框
from PySide6 import QtWidgets, QtCore  # 导入PySide6库的QtWidgets和QtCore模块，用于创建GUI
from QtFusion.path import abs_path
from QtFusion.config import QF_Config
from YOLOv8Model import YOLOv8Detector  # 从YOLOv8Model模块导入YOLOv8Detector类，用于物体检测

QF_Config.set_verbose(False)

（2）初始化模型
        我们定义了一个类别名称列表cls_name，它包含了我们要检测的所有对象的名称。然后，我们加载预训练的YOLOv8模型并获取每个类别的颜色。这些颜色将用于在最终的图像上区分不同的对象。

cls_name = ["骑手", "汽车", "行人", "交通灯", "绿灯", "左转绿灯", "红灯", "左转红灯",
            "黄灯", "左转黄灯", "卡车"]  # 定义类名列表

model = YOLOv8Detector()  # 创建YOLOv8Detector对象
model.load_model(abs_path("weights/driving-yolov8n.pt", path_type="current"))  # 加载预训练的YOLOv8模型
colors = get_cls_color(model.names)  # 获取类别颜色

（3）设置主窗口
        为了能够有效地与用户交互，我们定义了MainWindow类，这是我们应用程序的主窗口。这个窗口负责显示视频流和检测结果。在构造函数中，我们设置了窗口的尺寸，并创建了一个标签（QLabel）用于展示图像。我们还定义了keyPressEvent函数，以便用户可以通过按键（这里是Q键）来关闭应用程序。

class MainWindow(QMainWindow):  # 定义MainWindow类，继承自FBaseWindow类
    def __init__(self):  # 定义构造函数
        super().__init__()  # 调用父类的构造函数
        self.resize(850, 500)  # 设置窗口的大小
        self.label = QtWidgets.QLabel(self)  # 创建一个QLabel对象，用于显示图像
        self.label.setGeometry(0, 0, 850, 500)  # 设置QLabel对象的几何形状

    def keyPressEvent(self, event):  # 定义keyPressEvent函数，用于处理键盘事件
        if event.key() == QtCore.Qt.Key.Key_Q:  # 如果按下的键是Q键
            self.close()  # 关闭窗口

（4）主程序流程
        在frame_process函数中，我们首先调整每一帧图像的大小以适配我们的显示窗口。然后，我们使用YOLOv8Detector模型的preprocess方法对图像进行预处理，并通过predict方法执行物体检测。这里，我们计算并打印出模型推理的时间，以评估其性能。对于检测到的物体，我们使用postprocess方法获取详细信息，并利用drawRectBox函数在图像上绘制边界框和标签。

def frame_process(image):  # 定义frame_process函数，用于处理每一帧图像
    image = cv2.resize(image, (850, 500))  # 调整图像的大小
    pre_img = model.preprocess(image)  # 对图像进行预处理

    t1 = time.time()  # 获取当前时间
    pred = model.predict(pre_img)  # 使用模型进行预测
    t2 = time.time()  # 获取当前时间
    use_time = t2 - t1  # 计算预测所用的时间

    print("推理时间: %.2f" % use_time)  # 打印预测所用的时间
    det = pred[0]  # 获取预测结果
    # 如果有检测信息则进入
    if det is not None and len(det):
        det_info = model.postprocess(pred)  # 对预测结果进行后处理
        for info in det_info:  # 遍历检测信息
            name, bbox, conf, cls_id = info['class_name'], info['bbox'], info['score'], info[
                'class_id']  # 获取类名、边界框、置信度和类别ID
            label = '%s %.0f%%' % (name, conf * 100)  # 创建标签，包含类名和置信度
            # 画出检测到的目标物
            image = drawRectBox(image, bbox, alpha=0.2, addText=label, color=colors[cls_id])  # 在图像上绘制矩形框，并添加标签和颜色

    window.dispImage(window.label, image)  # 在窗口的label控件上显示图像

        最后，我们创建了应用程序和主窗口的实例，并设置了MediaHandler来处理视频流。我们连接了frame_process函数到frameReady信号，这样每次新的视频帧准备好时，都会调用这个函数。我们选择默认的摄像头作为视频输入设备，并启动了媒体流的处理。

app = QtWidgets.QApplication(sys.argv)  # 创建QApplication对象
window = MainWindow()  # 创建MainWindow对象

videoHandler = MediaHandler(fps=30)  # 创建MediaHandler对象，设置帧率为30
videoHandler.frameReady.connect(frame_process)  # 当有新的帧准备好时，调用frame_process函数
videoHandler.setDevice(device=0)  # 设置设备为0，即默认的摄像头
videoHandler.startMedia()  # 开始处理媒体流

# 显示窗口
window.show()
# 进入 Qt 应用程序的主循环
sys.exit(app.exec())

        整个程序以一个典型的Qt应用程序流程结束，显示主窗口并进入主事件循环，等待用户操作或内部事件的发生。这段代码的魅力在于它如何将高级深度学习模型与现代GUI应用程序框架结合起来，创建出一个用户友好且功能强大的实时物体检测系统。通过精心设计的代码结构，我们可以清晰地理解整个系统的工作流程，并欣赏到将深度学习应用于实际问题的潜力。

5. 自动驾驶目标检测系统实现

        在实现一款实时自动驾驶目标检测系统时，我们深入考虑了用户体验和操作便捷性。系统设计思路的核心是将高效的目标检测能力与直观的用户界面(UI)紧密结合，以确保即使是非技术用户也能轻松地使用系统。为此，我们设计了一个综合架构，其中MainWindow类扮演了控制中心的角色，协调处理层和界面层的交互。

5.1 系统设计思路

        MainWindow类的主要目标是提供一个用户友好的交互式自动驾驶目标检测系统。为了实现这个目标，采取了将界面、媒体处理和模型集成在一起的设计思路。

架构设计
        我们的系统设计思路以三层架构为核心：处理层、界面层和控制层。在我们的系统设计中，重点放在了确保各个组件能够协同工作，同时保持足够的模块独立性，以便于未来的维护和升级。

  • 处理层（Processing Layer）：处理层是系统的核心，负责执行最为复杂的计算任务。在这一层，我们利用了YOLOv8Detector类来实现的预训练模型。这个模型是目标检测的关键，它通过对输入的图像数据进行分析和处理，来识别出不同的目标。由于采用了深度学习技术，它可以实现高准确率的目标检测，为用户提供可靠的信息。
  • 界面层（UI Layer）：界面层则是用户与系统交互的桥梁。我们通过QtFusion提供的功能强大的UI组件，设计了一套直观且美观的用户界面。这个界面不仅展示了实时的目标检测结果，还提供了如图像显示、状态信息展示等多种交互元素。通过这个界面，用户可以轻松地监控系统状态，及时获得反馈信息。
  • 控制层（Control Layer）：控制层则是系统的指挥中心。通过MainWindow类实现的各种槽函数和方法，它响应来自用户界面层的各种操作请求，并对媒体处理器和模型进行相应的控制。例如，当用户按下某个按键时，控制层会识别这一操作，并向处理层发送指令，进行图像的捕获、处理或其他相应的动作。

        通过这样精心设计的架构，我们的系统不仅提高了操作的便捷性，而且保证了运行的效率。无论是在交通繁忙的城市街道还是在高速公路上，它都能够快速地处理图像，准确地检测和识别出各种目标，帮助自动驾驶系统作出正确的决策，这对于提高道路安全性具有重要的意义。

系统流程
        在构建交互式自动驾驶目标检测系统时，我们采纳了一个以用户为中心的系统设计思路。该系统由几个核心组件构成，包括用户界面（UI）、媒体处理器和目标检测模型。我们的目标是创建一个高效、直观且易于使用的系统，使得自动驾驶技术的复杂性对于最终用户来说变得透明。

  1. 一旦用户通过界面选定输入源，系统将调用配置良好的媒体处理器来准备数据。这个阶段是整个系统流程的关键，它确保了输入数据能够被准确和高效地处理。无论是摄像头配置、视频文件处理还是图像加载，我们都确保了最佳的数据质量和兼容性，为后续的图像处理和目标检测打下坚实基础。
  2. 在输入源准备好后，系统进入一个连续的帧处理循环。这个循环首先涉及到对图像进行一系列预处理步骤，以适配我们使用的YOLOv8模型。经过缩放、色彩空间转换和归一化处理后的图像将被送入模型，模型利用其先进的深度学习算法检测出图像中的输电线路设备。YOLOv8的高性能确保了即便在复杂或多变的环境下，检测结果依然精确可靠。
  3. 随着检测结果的生成，用户界面会即时更新，以直观的形式呈现每个检测到的对象。这些实时更新不仅包括显示检测框和标注设备类别，还包括在界面上展示检测统计数据。这样的设计让用户能够立即看到模型的性能，并了解系统在实际运行中的效果。
  4. 我们的系统还提供了一系列交互式操作，用户可以通过点击按钮来保存检测结果，查询系统信息，或使用下拉菜单对检测结果进行筛选和深入分析。这些功能的添加使得系统不仅限于输电线路设备的自动检测，更提供了数据管理和后续分析的能力。
  5. 最后，为了提升用户体验，我们还加入了媒体播放控制功能。用户可以根据需要启动或停止摄像头的实时捕捉，控制视频播放，或对静态图像进行分析。这种控制能力使得用户可以根据实际情况调整系统的运行，增加了系统使用的灵活性和实用性。

        通过这种设计，我们的系统不仅能够提供高质量的自动驾驶目标检测服务，同时也保证了用户交互的简洁性和直观性。无论用户的技术背景如何，都能轻松地掌握该系统，这对于推动自动驾驶技术的广泛应用至关重要。

5.2 登录与账户管理

        在构建自动驾驶目标检测系统的过程中，账户管理功能起到了至关重要的作用，它不仅确保了用户数据的安全性，也提供了个性化的用户体验。利用PySide6的强大功能以及SQLite数据库的便捷性，我们设计了一套完整的用户登录界面，并实现了注册、密码管理、个人化设置等功能。

        首先，用户在使用我们的系统前需要通过登录界面进行身份验证。这一界面不仅简洁易用，还提供了账户注册的选项，允许新用户创建自己的账户。用户可以设置用户名和密码，并在后续使用中进行修改。账户创建过程中，我们还提供了头像设置的功能，用户可以上传个人头像，使得使用体验更加个性化。

        一旦用户完成注册并登录，他们将被引入主界面，在这里进行自动驾驶目标检测。用户的所有检测记录和设置都将与其账户绑定，确保了用户数据的私密性。用户在系统中的操作——无论是实时目标检测、历史记录查看，还是检测设置的调整——都会被系统记录。此外，用户还可以在任何时候返回登录界面进行账户的重新登录、密码修改甚至账户注销操作。

        在主界面上，用户可以享受到多物体识别和检测的实时显示功能，系统能够处理包括图片、视频文件、实时摄像头捕获和批量文件输入等多种数据类型，实时识别并记录检测结果。这些功能的实现，使得系统不仅能够满足专业人士对于高效、精确检测的需求，也能够让普通用户轻松管理和回顾自己的检测结果。

        通过以上设计，自动驾驶目标检测系统不仅提供了强大的多物体检测和识别能力，还提供了高度个性化的用户服务。无论是单帧图像的处理，还是视频流的实时分析，或是摄像头捕获的连续监控，用户都可以在一个安全、私密的环境中，享受到高度定制化的服务。用户可以根据自己的需要调整检测参数，实时监控结果，并根据需求保存和管理检测数据。这样的设计思路旨在确保用户操作的便捷性，同时满足在自动驾驶领域对实时性和精确性的严格要求。

下载链接

    若您想获得博文中涉及的实现完整全部资源文件（包括测试图片、视频，py, UI文件，训练数据集、训练代码、界面代码等），这里已打包上传至博主的面包多平台，见可参考博客与视频，已将所有涉及的文件同时打包到里面，点击即可运行，完整文件截图如下：

完整资源中包含数据集及训练代码，环境配置与界面中文字、图片、logo等的修改方法请见视频，项目完整文件下载请见演示与介绍视频的简介处给出：➷➷➷

演示与介绍视频：https://www.bilibili.com/video/BV13J4m1a7KF/
YOLOv8/v7/v6/v5项目合集下载：https://mbd.pub/o/bread/ZZyUmZ9v
YOLOv8/v5项目完整资源下载：https://mbd.pub/o/bread/ZZubmpls
YOLOv7项目完整资源下载：https://mbd.pub/o/bread/ZZyUmJpv
YOLOv6项目完整资源下载：https://mbd.pub/o/bread/ZZyUlptv

    在文件夹下的资源显示如下，下面的链接中也给出了Python的离线依赖包，读者可在正确安装Anaconda和Pycharm软件后，复制离线依赖包至项目目录下进行安装，另外有详细安装教程：（1）Pycharm软件安装教程；（2）Anaconda软件安装教程；（3）Python环境配置教程；

离线依赖安装教程：https://www.bilibili.com/video/BV1hv421C7g8/
离线依赖库下载链接：https://pan.baidu.com/s/1y6vqa9CtRmC72SQYPh1ZCg?pwd=33z5 （提取码：33z5）

6. 总结与展望

        在本博客中，我们详细介绍了一个基于YOLOv8模型的实时自动驾驶目标检测系统。系统以模块化的方式设计，充分采用了合理的架构设计，带来良好的可维护性和可扩展性。其用户界面友好，能够提供实时的自动驾驶目标检测和识别结果展示，同时支持用户账户管理，以便于保存和管理检测结果和设置。

        该系统支持摄像头、视频、图像和批量文件等多种输入源，能够满足用户在不同场景下的需求。在后面可以添加更多预训练模型，增加检测和识别的种类；优化用户界面，增强个性化设置；并积极聆听用户反馈，以期不断改进系统，以更好地满足用户的需求。

结束语

        由于博主能力有限，博文中提及的方法即使经过试验，也难免会有疏漏之处。希望您能热心指出其中的错误，以便下次修改时能以一个更完美更严谨的样子，呈现在大家面前。同时如果有更好的实现方法也请您不吝赐教。

  1. Fang W, Wang L, Ren P. Tinier-YOLO: A real-time object detection method for constrained environments[J]. IEEE Access, 2019, 8: 1935-1944. ↩︎

  2. Li C, Li L, Jiang H, et al. YOLOv6: A single-stage object detection framework for industrial applications[J]. arXiv preprint arXiv:2209.02976, 2022. ↩︎

  3. Wang C Y, Bochkovskiy A, Liao H Y M. YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2023: 7464-7475. ↩︎

  4. Terven J, Cordova-Esparza D. A comprehensive review of YOLO: From YOLOv1 to YOLOv8 and beyond[J]. arXiv preprint arXiv:2304.00501, 2023. ↩︎

  5. Wu W, Liu H, Li L, et al. Application of local fully Convolutional Neural Network combined with YOLO v5 algorithm in small target detection of remote sensing image[J]. PloS one, 2021, 16(10): e0259283. ↩︎
posted @ 2024-03-15 16:45  思绪无限  阅读(349)  评论(0)  编辑  收藏  举报