YOLOv5
数据集标注
选择了一个检测鱼类的数据集,想要尝试自己去制作一个数据集。
网站链接:Labeled Fishes in the Wild
选择了60张鱼类的图片,准备标注数据:
由于自身强迫症,看着这些文件名太难受了,改成了VOC格式的000005.jpg命名方式,但是从000000.jpg开始,共60张。
换名代码如下,将path更改为你的图片存放路径。
import os path = "C:/Users/Desktop/fish" filelist = os.listdir(path) #该文件夹下所有的文件(包括文件夹) count=0 #从零开始 for file in filelist: print(file) for file in filelist: #遍历所有文件 Olddir=os.path.join(path,file) #原来的文件路径 if os.path.isdir(Olddir): #如果是文件夹则跳过 continue filename=os.path.splitext(file)[0] #文件名 filetype=os.path.splitext(file)[1] #文件扩展名 Newdir=os.path.join(path,str(count).zfill(6)+filetype) #用字符串函数zfill 以0补全所需位数 os.rename(Olddir,Newdir)#重命名 count+=1
利用精灵标注助手进行标注。新建一个位置标注项目,然后开始标注就好了(深海恐惧的我为什么要标这个东西,服气。。)
这里只建了一个分类,fish,从最简单的做起,先能识别鱼,再去做识别鱼的类别吧~~
标完了,眼睛快瞎了,仿佛在玩找不同。
导出成xml格式的文件存起来就可以了。(题主又导出了一份pascal-voc格式的xml文件~但是这个格式精灵标注助手不支持查看,所以就先导出了一份xml格式的)
pascal-voc格式的xml文件样例如下:
<?xml version="1.0" ?> <annotation> <folder>fish</folder> <filename>000052.JPG</filename> <path>C:\Users\Vanessa Ni\Desktop\fish\000052.JPG</path> <source> <database>Unknown</database> </source> <size> <width>1024</width> <height>768</height> <depth>3</depth> </size> <segmented>0</segmented> <object> <name>fish</name> <pose>Unspecified</pose> <truncated>0</truncated> <difficult>0</difficult> <bndbox> <xmin>498</xmin> <ymin>227</ymin> <xmax>696</xmax> <ymax>350</ymax> </bndbox> </object> <object> <name>fish</name> <pose>Unspecified</pose> <truncated>0</truncated> <difficult>0</difficult> <bndbox> <xmin>225</xmin> <ymin>602</ymin> <xmax>336</xmax> <ymax>749</ymax> </bndbox> </object> </annotation>
-
将所有的图片放到
JPEGImages
文件夹下,将所有个pascal-voc格式的xml文件放入到Annotations
文件夹下 -
在根目录下创建
make_txt.py
文件,代码如下,运行代码后ImageSets
中生成数据集分类txt文件。
import os import random trainval_percent = 0.1 train_percent = 0.9 xmlfilepath = 'data/Annotations' txtsavepath = 'data/ImageSets' total_xml = os.listdir(xmlfilepath) num = len(total_xml) list = range(num) tv = int(num * trainval_percent) tr = int(tv * train_percent) trainval = random.sample(list, tv) train = random.sample(trainval, tr) ftrainval = open('data/ImageSets/trainval.txt', 'w') ftest = open('data/ImageSets/test.txt', 'w') ftrain = open('data/ImageSets/train.txt', 'w') fval = open('data/ImageSets/val.txt', 'w') for i in list: name = total_xml[i][:-4] + '\n' if i in trainval: ftrainval.write(name) if i in train: ftest.write(name) else: fval.write(name) else: ftrain.write(name) ftrainval.close() ftrain.close() fval.close() ftest.close()
- 根目录下继续创建
voc_label.py
文件,代码如下:
需要注意的是,sets中改为你的sets的名字(make_txt生成的)
classes修改为你需要检测的类别,在本案例中,我们只需要检测fish
一种类别
import xml.etree.ElementTree as ET import pickle import os from os import listdir, getcwd from os.path import join sets = ['train', 'test','val'] classes = ['fish'] def convert(size, box): dw = 1. / size[0] dh = 1. / size[1] x = (box[0] + box[1]) / 2.0 y = (box[2] + box[3]) / 2.0 w = box[1] - box[0] h = box[3] - box[2] x = x * dw w = w * dw y = y * dh h = h * dh return (x, y, w, h) def convert_annotation(image_id): in_file = open('data/Annotations/%s.xml' % (image_id)) out_file = open('data/labels/%s.txt' % (image_id), 'w') tree = ET.parse(in_file) root = tree.getroot() size = root.find('size') w = int(size.find('width').text) h = int(size.find('height').text) for obj in root.iter('object'): difficult = obj.find('difficult').text cls = obj.find('name').text if cls not in classes or int(difficult) == 1: continue cls_id = classes.index(cls) xmlbox = obj.find('bndbox') b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text), float(xmlbox.find('ymax').text)) bb = convert((w, h), b) out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\n') wd = getcwd() print(wd) for image_set in sets: if not os.path.exists('data/labels/'): os.makedirs('data/labels/') image_ids = open('data/ImageSets/%s.txt' % (image_set)).read().strip().split() list_file = open('data/%s.txt' % (image_set), 'w') for image_id in image_ids: list_file.write('data/images/%s.jpg\n' % (image_id)) convert_annotation(image_id) list_file.close()
修改配置文件
修改coco.yaml文件
这里的yaml和以往的cfg文件是差不多的,但需要配置一份属于自己数据集的yaml文件。
复制data目录下的coco.yaml,我这里命名为fish.yaml
主要修改三个地方:
a. 修改train,val,test的路径为自己刚刚生成的路径
b. nc 里的数字代表数据集的类别,我这里只有鱼一类,所以修改为1
c. names 里为自己数据集标注的类名称,我这里是’fish’
修改model.yaml文件
models下有四个模型,smlx需要训练的时间依次增加,按照需求选择一个文件进行修改即可。
这里修改了yolov5s.yaml,只需要将nc的类别修改为自己需要的即可
训练train.py
weights,yaml,data按照自己所需文件的路径修改即可
epochs迭代次数自己决定,我这里仅用100次进行测试
batch-size过高可能会影响电脑运行速度,还是要根据自己电脑硬件条件决定增加还是减少
修改完成,运行即可! python train.py
在训练过程的可视化tensorboard tensorboard --logdir runs/train
然后打开localhost:6006即可,效果如下:
此次训练用了半个小时多一点,数据量比较小所以笔记本的垃圾显卡跑起来也还行。
yolov5就是很不错,调用了很多工具库来进行可视化!!所以最近几年的论文和代码应该都会有很多新的工具能用,等待着我们去探索~以下是训练完成后所有模型自动保存的数据:
可以看到我们的权重文件就在这里安安静静的躺着:
出现的问题
跑起来了也没有报错,但是一直卡在这个界面,显示完了超参数也不进入训练状态,打开tensorboard显示没有训练数据。
batch_size设小一点,input设置小一点:
我刚开始取得batch_size是16(没错我的笔记本就是如此的垃圾)
inputsize取得6000X2000(因为之前想要完成的任务是要做焊缝识别的,图片数据的分辨率比较特殊,暴力的修改了inputsize然后忘记修改了)
最终导致了直接卡死~所以说深度学习真的很依赖于硬件配置哦
train.py中的一个路径名写错了weights\yolov5s.pt写成了weight\yolov5s.pt可以说是非常容易犯的错误,但是报错很清晰也很容易修改~要注重细节。
刚开始进入训练时好像也报了一些错,可能是某些工具库我没有安装,或者其他的一些warning,我会再利用远程服务器进行训练的文章中再分析一下。
原文链接:https://blog.csdn.net/weixin_44145782/article/details/113983421