计算机视觉3-> yolov5目标检测1 |从入门到出土

本来就想着是对自己第一次跑yolov5的coco128的一个记录，没想到现在准备总结一下的时候，一方面是继续学习了一些，另一方面是学长的一些任务的要求，挖出了更多的东西，所以把名字改为了“从入门到出土“。

00 GitHub访问加速

首先我们要把yolov5框架从GitHub上拉下来，国内如果要快速访问GitHub的话呢，需要把Github的相关域名写入Hosts文件。

00-1 修改hosts的原理

  1. hosts文件原理

    hosts文件是一个用于储存计算机网络中各节点信息的计算机文件。这个文件负责将主机名映射到相应的IP地址。hosts文件通常用于补充或取代网络中DNS的功能。

    和DNS不同的是，计算机的用户可以直接对hosts文件进行控制。

    关于DNS解析，我在CTF的学习中有所记录

    https://www.cnblogs.com/Roboduster/p/15575207.html 00-03浏览器。

  2. 作用过程

    当我们在浏览器中输入一个需要登录的网址时，系统会先检查系自己的Hosts文件中是否有这个域名和IP的映射关系。

    如果有，则直接访问这个IP地址指定的网络位置；

    如果没有， 再向已知的DNS（Domain Name System，域名系统）服务器提出域名解析请求。

    也就是说Hosts的IP解析优先级比DNS解析要高。

  3. 我们把github相关IP写入hosts，就能在DNS解析之前通过hosts文件的IP解析访问我们想要访问的域名。

00-2 修改hosts文件

了解了原理，其实就很简单，我们在域名解析网站上搜github相关的IP，找到ttl值小的写入hosts即可。

我们选用http://tool.chinaz.com/dns/这个网站。

搜索以下域名

1  github.global.ssl.fastly.net
2  
3  github.com
4  
5  codeload.github.com

找到比较小的ttl值的ip，放入hosts文件：

 1 sudo gedit /etc/hosts 

1 # 然后更新配置
2 sudo /etc/init.d/networking restart

注意ip每隔一段时间会变动，所以每隔一段时间需要更新。

01 YOLOv5框架获取

1 # 用git获取源码 在上一步配置好的情况下 会很快
2 git clone https://github.com/ultralytics/yolov5
3 # 进入yolov5文件夹下
4 cd yolov5
5 # 依据包里的requirements.txt安装  需要的库
6 # 优先考虑清华源下载  不然可能会很慢
7  pip install -r requirements.txt  -i https://pypi.tuna.tsinghua.edu.cn/simple
8  
9  # 这种办法在windows下也可以，通过pycharm打开终端进行命令行的输入

02 测试 / 预测

02-0 目录框架

对于初学者而言，把YOLOv5跑起来的难点之一就是目录结构，这里我简单介绍以下我的项目的目录结构：

再来重点看一下yolov5目录下的data和runs目录，这两个目录下的内容前者将成为yolo框架的输入，后者将作为输出。

02-1 对于图片的detect

在yolov5的目录下(画重点)执行：

1 # 运行detect.py
2 python detect.py
3 # 或者
4 python detect.py --source data/images/ --weights ./yolov5s.pt
5 # 解释： 使用权重文件为yolov5s.pt的模型，使用data/images下的图片作为推理图片
6 ​
7 #或者
8 python detect.py --weights yolov5s.pt --img 640 --conf 0.25 --source data/images/
9 # 解释：使用权重文件为yolov5s.pt的模型，推理图片为640(pixels)，最小置信度为0.25，使用yolov5文件夹中data/images文件夹下的文件作为处理图片(默认保存到yolov5/runs/detect/exp文件夹下)

实际上官网给出的命令参数为：

python detect.py --source 0  # webcam
                                                      img.jpg  # image
                                                      video.mp4  # video文件
                                                      path/  # directory
                                                     path/*.jpg  # 所有jpg文件
                                                      'https://youtu.be/Zgi9g1ksQHc'  #指定链接
                                                      'rtsp://example.com/media.mp4'  # RTSP, RTMP, HTTP stream
                        
#备注
# rtsp等是各种传输协议，将摄像头等设备连接到电脑，通过一些方式获得这种链接，作为参数成为输入，进而可以实现实时检测。

# 除了source参数，还有weights,用于指定不同的权重模型，具体模型在04部分

 

执行完毕后输出：

这里我已经跑过一次了，所以终端里输出的东西少了很多。下图是我保存的当时跑的截图，图片里是正在下载5s权重文件。

按照终端最后的提示，结果被保存在runs/detect/exp3，此外source源下的两张图片中的目标情况也被终端列出，比如bus.jpg中是4个人、1个bus。

我们在上面提到的目录下就可以找到检测之后的结果

 

 

 

ps:

在windows下用pycharm或是在ubuntu下使用pycharm图形化界面的话，其实也可以使用pycharm里的终端进行命令行的输入。

此外我们可以在编辑器里查看detect.py的源码，里面在parse_opt()函数里设定了一些参数，比如源码中默认指定了yolov5s.pt作为权重文件......这也是为什么直接python detect.py可行的原因。这点后面再讲；

（使用yolov5的不同模型会出现不同的效果，这点后面04部分会讲解）

（注意我在里使用的是yolov5的v6.0分支的代码）

阅读这些源码我的感受之一就是python学的还不够，用法真挺多的。

02-2 对于视频的detect

对图片的检测其实没多大意思，我们可以看一看对于视频的检测。

我们可以在yolov5所在的文件夹YOLO里下载视频，这里我切换到了实验室的服务器上来做这件事情，因为服务器快且容量大。

服务器的目录架构如图：

我在yolov5-master下的data里新建一个文件夹video，然后把我们下载的视频放进来。不会下载视频？？这个我回头总结一下，有一个命令行神器是annie，当然也可以在b站解析工具上下载并另存为。这里放一个链接：

互盾科技的回答

https://www.zhihu.com/question/290690588/answer/2005192819

这里我把放在yolov5-master/data/video下：

在yolov5-master（相当于我电脑上的yolov5）文件夹下打开终端

1 python detect.py --source data/video/123.mp4
2 
3 # 实际上就是上面官方教程中的参数模型的套用
4 
5 # 同样，这个参数可以在源码的对应位置进行修改

然后开始跑：对每一帧图片进行检测

程序结果保存在runs/detect/exp6

我们看一看效果。附一张截图：

感觉海星，左侧有一辆自行车被认成了摩托车hhhh。

02-3 实时检测的detect

更有意义的莫过于实时检测了，yolov5的优势就正是实时检测的准确性。这个待我下次研究研究，目前尚未实现，涉及将摄像头信息转换成相关协议的流。

不过连接电脑本地的摄像头还是很容易实现的。

1 python detect.py --source 0

看见摄像头视频流的实时检测结果：

但是检测效果不太好，可能是寝室里光的影响，也有可能是只出现了半张人像，以及手完美遮挡了部分手机。

同时一个手机出现了两个同名框，如果细究的话是一些参数对于这种情景下默认设置的不够合适。

02-4 一些参数的理解

02-4-1 --img 640

这个640是指像素，是指传入yolo框架用于处理的图片大小，需注意我们传出的图片和原图片大小是一致的。可知这里这个参数设置了我们用yolo处理的图片的规模。

最后会对画出的框框进行再次缩放，标在原图片上。

02-4-2 --conf 0.25

这个参数的意思就是当某个区域的置信度>0.25的时候，程序才相信这是一个目标，才会把它作为目标框出来。

02-4-3 --iou 0.45

当多个框有重合时，我们需要有一个阀值来控制：大于某个阀值的重合框就应该算为一个框，而小于就算作两个框。

iou的计算公式就是交并比：两框交/两框并。默认阀值0.45。

02-4-4 --view-img 

1 # 示例 
2 python detect.py --view-img

这样可以显示正在检测的图片，这个就可以应用在视频的检测上，我们对视频进行这个参数的设置，就可以实时看到视频每一帧处理的情况。

1 # 具体参数
2 python detect.py --view-img --source data/video/123.mp4

02-4-5 --save-txt

把每一张源文件图片的目标检测结果保存为txt文件。

02-4-6 --classes 0

对于目标检测结果进行筛选，比如--classes 0就是只保留第一个类别的目标，其他类别的目标都不框出来。

02-4-7 --agnostic-nms | --augment

对数据进行增强的两种命令，使用它们会使我们的监测结果的值更优(即标注框的数字)。

02-4-8 --project | --name | --exist-ok

  1. --project 把得到的结果存放到什么目录下;默认为runs/detect

  2. --name 把结果保存在目录里的哪个位置;默认exp。

  3. --exist-ok 打开这个参数(即为True)，即每次训练的结果exp不再默认增加1，会保存在--name指定的位置。

03 训练

03-1 /本地训练

03-1-1 准备数据集

事实上因为coco128是官方例程，所以如果没有下载128，运行train.py会自动下载。

但是为了我们的经验更有普适性，我们把128下载到YOLO目录下，与yolov5同级，我在这里命名为datasets。大家可以通过我的vscode项目框架看一下这个结构：

03-1-2 运行train.py

(本地电脑)在YOLO/yolov5目录下，打开终端

 python train.py --img 160 --batch 16 --cfg ./models/yolov5s.yaml --weights '' 

注意这里的--img参数默认是640，而我改小为160，是因为640我的显存总是不够：RuntimeError: CUDA out of memory.

我调用nvidia-smi可以看出确实是显存不够，而不是N卡调用比例的问题。所以我决定更改命令参数，牺牲一些性能，先把模型跑通。当然推荐的做法是修改batch-size，把改动得小一点。

PS：

关于batch-size的设置问题，根据交流获知的情况，3060的显卡用的是8，普通显卡可以用4试一下。

0118补充：

下图也可以看出我的小破gpu显存极小，1G都不到..

所以拥有一个服务器的使用权，多是一件美事阿

下面是运行的截图：有一点点了解为啥别称炼丹了。

图中的Epoch299是训练轮次，这个可以在源码中见到这个参数。

记忆里跑了大概有快一个小时。结果出来了。放在YOLO/yolov5/runs/train/exp8里

03-1-3 一些分析

我们看看我们的run文件夹下都产生了点什么东西。

best.pt是选取的最优训练轮次的网络模型参数；同理last.pt是最后一个训练的轮次的网络模型参数。

hpy.yaml是训练过程中的一些超参数，一些图表图片是对目标分布、训练效果的描述。

result.csv是训练过程的一个记录。

最后的train_batchxxxx.jpg是训练图片的拼接，我们在这里可以看到训练图片的结果。

03-1-4 一些参数

A --weights | --cfg | --data

  • --weights

    前面提到过，是选择使用哪个已有模型来初始化前面提到过的参数，有5s、5x、5n等等，当然如果我们有自己的模型(比如上一部分提到的best.pt)，可以在命令行中，把这个模型的路径跟在后面，用自己的模型来赋值训练过程。

    我们的训练一般上是 从头训练，所以这个参数一般初始化为空。

    在程序中：

      parser.add_argument('--weights', type=str, default='', help='initial weights path') 

  • --cfg

    config的缩写，是关于模型的配置，存放在models/.yaml里，相当于C语言的开局define，为每个模型固定了一些参数，指定这些会固定训练的结构。

    例如：（与上一个参数结合）

    parser.add_argument('--cfg', type=str, default='models/yolov5s.yaml', help='model.yaml path')

    如果与上一个参数结合来看，就是我们使用yolov5s的模型，训练的初始化参数我们使用程序中给出的初始参数，不使用已经训练好的参数作为初始参数。

  • --data

    指定数据集，比如源程序是coco128数据集，就要引入它的设定参数文件：

      default=ROOT / 'data/coco128.yaml', 
B --hyp | --epochs | batch-size | img-size

  • --hyp 使用哪一超参数进行初始化，我的文件夹下没有，但是刚才训练完成之后是产生了一个超参数文本，这个对于不同的数据集不同的训练自然是不一样的。

  • --epochs 训练轮次/迭代次数

  • --batch-size 把多少数据打包成一个batch送进网络中

  • --img-size 设置图片默认大小

C --rect | --resume

  • --rect 原本对于一个图片的处理，程序会默认填充为正方形，那么对于长条形的图片来说，填充的无效信息就很多，使用这个参数就可以对图片进行最小填充，加快推理过程。

  • --resume 管理是否以最近训练得到的模型为基础进行继续的训练。默认是False，但是要让其生效，要指定模型的位置。比如指定

    runs/train/exp/weights/last.pt

    会接着迭代之前的过程。

D --nosave | --notest | --noautoanchor

  • --nosave 默认为false，如果设置为true，就只保留最后一次的迭代结果

  • --notest 只对最后一个epoch进行测试

  • --noautoanchor 锚点，目标检测模型包括有无锚点两种类型。这个参数默认开启(true)

E --evolve | --cache | --image-weights

  • --evolve 对参数进行进化，是寻找最优参数的一个方式。

  • --cache 是否对图片进行缓存，进行更好的训练，默认未开启。

  • --image-weights 对训练效果不佳的图片加一些权重

03-1-5 授人以渔 | 读代码的一些技巧

A 源码跟踪

如果对于一个参数进行分析，我们时常需要对一个参数在程序中起到的作用进行追踪。

可以选中一个变量，然后Ctrl + F，pycharm和Vscode都会出现一个框，点击框右侧的向上向下箭头，就能实现自动跳转。

参数传入一个模块函数，我们可以右键查看它的相关定义、引用、快速浏览等等，以了解具体的实现过程。

也可以按住Ctrl，点击这个函数，也会自动跳转代码到源码相关处。

B 浏览查询

看似困难实际上方便的一个做法是（比如YOLOv5），就在它的GIthub上的issues(https://github.com/ultralytics/yolov5/issues)进行查询，在closed板块查看相关话题，查看比较权威且经得起考验的回答。

03-2 /云端GPU

我是有本地GPU的，不过电脑是便携本，GPU配置不高，显存只有2G，所以高度依赖实验室的服务器，所以也想了解一下云端GPU的事情。

但是我现在的ubuntu空间不多了，所以不想下载Google来访问Colab(Colab本身也有不便之处)，所以这件事情就先搁置，因为有实验室的服务器，暂时也用不着。可以回头再探索，先做事情要紧。

04 不同模型(models)对比

现在github上的预训练模型有如下这些(Github主页上也有)：

Modelsize (pixels)mAPval 0.5:0.95mAPval 0.5Speed CPU b1 (ms)Speed V100 b1 (ms)Speed V100 b32 (ms)params (M)FLOPs @640 (B)
YOLOv5n 640 28.4 46.0 45 6.3 0.6 1.9 4.5
YOLOv5s 640 37.2 56.0 98 6.4 0.9 7.2 16.5
YOLOv5m 640 45.2 63.9 224 8.2 1.7 21.2 49.0
YOLOv5l 640 48.8 67.2 430 10.1 2.7 46.5 109.1
YOLOv5x 640 50.7 68.9 766 12.1 4.8 86.7 205.7
YOLOv5n6 1280 34.0 50.7 153 8.1 2.1 3.2 4.6
YOLOv5s6 1280 44.5 63.0 385 8.2 3.6 12.6 16.8
YOLOv5m6 1280 51.0 69.0 887 11.1 6.8 35.7 50.0
YOLOv5l6 1280 53.6 71.6 1784 15.8 10.5 76.7 111.4
YOLOv5x6 + TTA 1280 1536 54.7 55.4 72.4 72.3 3136 - 26.2      

可见越往下，模型越复杂，花费时间会相对较多，但是效果相对会比较好，表格里面右侧就是一些指标，可以看出效果会好一些。



posted @ 2022-01-20 23:08  climerecho  阅读(1690)  评论(1)  编辑  收藏  举报