yolo训练数据集
最近了解了下yolov3的训练数据集部分，总结了以下操作步骤：（基于pytorch框架，请预先装好pytorch的相关组件）
1.下载ImageLabel软件对图片进行兴趣区域标记，每张图片对应一个xml文件，其中记录了w，h，xmin，ymin，xmax，ymax
2.将图片装入文件夹images、xml文件装入文件夹xmls内，将其放入yolo的data文件夹（目录）下
data文件夹下文件夹如下图片：
上述的各类文件夹（除了samples）本不是存在的，其余均需要自己创建（或者通过脚本创建），本次记录通过脚本一并自己创建。
文件夹功能介绍：
images：存放训练用图片 自己创建
ImageSets：存放test.txt、train.txt、trainval.txt、val.txt，各个txt文件中存放了训练、测试用的图片文件名。 通过脚本检测并创建
labels:存放根据xml文件中计算的参数，具体实现为voc_label.py脚本中实现，输出txt文件至该文件夹中。 自己创建
xmls:存放xml文件，用于计算labels文件夹中的txt文件 自己创建
samples:存放用于测试的图片文件，用于最后运行detect.py时用到。 默认存在
3.创建脚本文件，本次记录中将脚本创建在yolo根目录下：创建的脚本有两个，分别为voc_label.py、make_txt.py。
make_txt.py
# -*- coding:utf-8 -* import os import random import shutil # 检测文件夹ImageSets是否存在,若不存在则创建文件夹 if os.path.exists('data/ImageSets'): shutil.rmtree('data/ImageSets') os.makedirs('data/ImageSets') else: os.makedirs('data/ImageSets') trainval_percent = 0.2 train_percent = 0.8 xmlfilepath = 'data/xmls' txtsavepath = 'data/ImageSets' total_xml = os.listdir(xmlfilepath) num = len(total_xml) list = range(num) tv = int(num * trainval_percent) tr = int(tv * train_percent) trainval = random.sample(list, tv) train = random.sample(trainval, tr) ftrainval = open('data/ImageSets/trainval.txt', 'w') ftest = open('data/ImageSets/test.txt', 'w') ftrain = open('data/ImageSets/train.txt', 'w') fval = open('data/ImageSets/val.txt', 'w') for i in list: name = total_xml[i][:-4] + '\n' if i in trainval: ftrainval.write(name) if i in train: ftest.write(name) else: fval.write(name) else: ftrain.write(name) ftrainval.close() ftrain.close() fval.close() ftest.close()
voc_label.py
# -*- coding:utf-8 -* import xml.etree.ElementTree as ET import pickle import os from os import listdir, getcwd from os.path import join sets = ['train', 'test', 'val'] classes = ['CT','T'] # 在这里设置自己的各个类名称 def convert(size, box): dw = 1. / size[0] dh = 1. / size[1] x = (box[0] + box[1]) / 2.0 y = (box[2] + box[3]) / 2.0 w = box[1] - box[0] h = box[3] - box[2] x = x * dw w = w * dw y = y * dh h = h * dh return (x, y, w, h) def convert_annotation(image_id): in_file = open('data/Annotations/%s.xml' % (image_id)) out_file = open('data/labels/%s.txt' % (image_id), 'w') tree = ET.parse(in_file) root = tree.getroot() size = root.find('size') w = int(size.find('width').text) h = int(size.find('height').text) for obj in root.iter('object'): difficult = obj.find('difficult').text cls = obj.find('name').text if cls not in classes or int(difficult) == 1: continue cls_id = classes.index(cls) xmlbox = obj.find('bndbox') b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text), float(xmlbox.find('ymax').text)) bb = convert((w, h), b) out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\n') wd = getcwd() print(wd)
for image_set in sets: if not os.path.exists('data/labels/'): os.makedirs('data/labels/') image_ids = open('data/ImageSets/%s.txt' % (image_set)).read().strip().split() list_file = open('data/%s.txt' % (image_set), 'w') for image_id in image_ids: list_file.write('data/images/%s.jpg\n' % (image_id)) convert_annotation(image_id) list_file.close()
两个脚本中，先运行make_txt.py，再运行voc_label.py
脚本功能介绍：
make_txt.py：检测images文件夹中图片，将其名称编号放入ImageSets中的对应txt文本中。（其中可以设置自己需要的训练和验证和测试比例）
voc_label.py：对xmls文件夹中的xml文件进行处理，将其输出到labels文件中形成txt文本。 同时在data文件夹下生成train.txt、test.txt、val.txt文件，其中存放了用于训练、测试、验证的图片文件的文件路径。
以上部分便完成了数据准备工作，下面将进行yolo配置环节。
4.对yolo的配置，主要有以下几个环节：
（1）在data文件夹下加入yolo.data,yolo.names文件。
（2）在weights文件夹下加入yolo权重文件
（3）对cfg文件夹下的用到的cfg文件进行配置
（4）对train.py和detect.py脚本中的参数进行修改。
下面依次进行介绍:
（1）在data文件夹下加入yolo.data,yolo.names文件。其中classes设置为自己需要的类别
yolo.data文件中存放文件路径和类别数目信息
classes=2 train=data/train.txt valid=data/val.txt names=data/yolo.names backup=backup/
yolo.names文件中方法对应的类别名称信息
CT
T
（2）在weights文件夹下加入yolo权重文件，从相关网站下载yolo的预训练权重文件，将其放入weights文件夹下。
本次记录为yolov3-tiny.conv.15文件，（训练会生成各种.pt文件，也是权重文件，将会将其用于detect脚本中）。
（3）对cfg文件夹下的用到的cfg文件进行配置，根据train.py中的参数，对相应的cfg文件进行修改。
例如本次train.py脚本中的cfg参数如下：
因此便需要对cfg文件夹中的yolov3-tiny-3cls.cfg文件进行修改。
本次修改为4处，2处filter参数、2处classes参数，其中每个filter参数为yolo标签前面的一个convolutional标签下的filter参数。
filter参数的计算方式为（类别数目+5）*3，其中的5表示置信度、x、y、w、h。
因此本次的filter设置为(2+5)*3=21。
（4）对train.py和detect.py脚本中的参数进行修改。
修改train.py和detect.py参数。yolo采用了parse对参数进行了统一修改，方便可以通过直接运行脚本文件修改其参数，本次记录为了方便，直接在脚本文件中对默认值进行修改。
train.py文件中主要修改的参数为：
--epochs 训练的轮数设置
--cfg cfg文件路径
--data yolo.data文件路径
--weights 预训练权重文件路径
具体设置如下图：
detect.py文件设置如下（主要修改了cfg参数、weight参数为训练好的best.pt参数文件、names参数）：
5.运行train.py进行训练、运行detect.py进行测试检验效果。最终输出的测试结果存放在output文件夹中。
相关视频输出实时检测为下面我会进行学习的部分。
