yolov2训练ICDAR2011数据集

首先下载数据集train-textloc.zip

其groundtruth文件如下所示：

158,128,412,182,"Footpath"
442,128,501,170,"To"
393,198,488,240,"and"
63,200,363,242,"Colchester"
71,271,383,313,"Greenstead"

ground truth 文件格式为：xmin, ymin, xmax, ymax, label。同时，要注意，这里的坐标系是如下摆放： 

将此txt文件转换成voc xml文件的代码：

icdar2voc.py

#! /usr/bin/python
#-*-coding:utf8-*-

import os, sys
import glob
from PIL import Image

# ICDAR 图像存储位置
src_img_dir = "train-textloc"
# ICDAR 图像的 ground truth 的 txt 文件存放位置
src_txt_dir = "train-textloc"

img_Lists = glob.glob(src_img_dir + '/*.jpg')

img_basenames = [] # e.g. 100.jpg
for item in img_Lists:
    img_basenames.append(os.path.basename(item))

img_names = [] # e.g. 100
for item in img_basenames:
    temp1, temp2 = os.path.splitext(item)
    img_names.append(temp1)

for img in img_names:
    im = Image.open((src_img_dir + '/' + img + '.jpg'))
    width, height = im.size

    # open the crospronding txt file
    gt = open(src_txt_dir + '/gt_' + img + '.txt').read().splitlines()

    # write in xml file
    #os.mknod(src_txt_dir + '/' + img + '.xml')
    xml_file = open((src_txt_dir + '/' + img + '.xml'), 'w')
    xml_file.write('<annotation>\n')
    xml_file.write('    <folder>VOC2007</folder>\n')
    xml_file.write('    <filename>' + str(img) + '.jpg' + '</filename>\n')
    xml_file.write('    <size>\n')
    xml_file.write('        <width>' + str(width) + '</width>\n')
    xml_file.write('        <height>' + str(height) + '</height>\n')
    xml_file.write('        <depth>3</depth>\n')
    xml_file.write('    </size>\n')

    # write the region of text on xml file
    for img_each_label in gt:
        spt = img_each_label.split(',')
        xml_file.write('    <object>\n')
        xml_file.write('        <name>text</name>\n')
        xml_file.write('        <pose>Unspecified</pose>\n')
        xml_file.write('        <truncated>0</truncated>\n')
        xml_file.write('        <difficult>0</difficult>\n')
        xml_file.write('        <bndbox>\n')
        xml_file.write('            <xmin>' + str(spt[0]) + '</xmin>\n')
        xml_file.write('            <ymin>' + str(spt[1]) + '</ymin>\n')
        xml_file.write('            <xmax>' + str(spt[2]) + '</xmax>\n')
        xml_file.write('            <ymax>' + str(spt[3]) + '</ymax>\n')
        xml_file.write('        </bndbox>\n')
        xml_file.write('    </object>\n')

    xml_file.write('</annotation>')

再将xml文件转换成yolo的txt格式：

voc_label.py

import xml.etree.ElementTree as ET
import pickle
import os
from os import listdir, getcwd
from os.path import join


classes = ["text"]


def convert(size, box):
    dw = 1./size[0]
    dh = 1./size[1]
    x = (box[0] + box[1])/2.0
    y = (box[2] + box[3])/2.0
    w = box[1] - box[0]
    h = box[3] - box[2]
    x = x*dw
    w = w*dw
    y = y*dh
    h = h*dh
    return (x,y,w,h)

for i in range(100,329):
    in_file = open('train-textloc/%d.xml'% i )
    out_file = open('train-textloc/%d.txt'% i , 'w')
    tree=ET.parse(in_file)
    root = tree.getroot()
    size = root.find('size')
    w = int(size.find('width').text)
    h = int(size.find('height').text)

    for obj in root.iter('object'):
        difficult = obj.find('difficult').text
        cls = obj.find('name').text
        if cls not in classes or int(difficult) == 1:
            continue
        cls_id = classes.index(cls)
        xmlbox = obj.find('bndbox')
        b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text), float(xmlbox.find('ymax').text))
        bb = convert((w,h), b)
        out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\n')

下面开始修改yolo的配置：

把20类改成1类

1. cfg/voc.data文件中:

   • classes 改成1。
   • names=data/voc.names。
   • voc.names里只写一行 text 即可。

2. cfg/yolo_voc.cfg文件中 :

   • 【region】层中 classes 改成1。
   • 【region】层上方第一个【convolution】层，其中的filters值要进行修改，改成(classes+ coords+ 1)* (NUM) ，我的情况中：(1+4+1)* 5=30，我把filters 的值改成了30。
   • 修改filters的建议来源自（https://groups.google.com/forum/#!topic/darknet/B4rSpOo84yg），我修改了之后一切正常。

3. src/yolo.c 文件中 :（经指正，步骤3,4是yolo1的内容，使用yolo_v2的话可以不用更改）

   • 位置大约第14行左右改成：char *voc_names={“text”}，原来里面有20类的名字，我改成了唯一1类的名字。
   • 位置大约第328行左右，修改draw_detection这个函数最后一个参数：20改成1。这个函数用于把系统检测出的框给画出来，并把画完框的图片传回第一个参数im中，用于保存和显示。
   • 位置大约第361行左右，demo函数中，倒数第三个参数我把20改成了1，虽然不知道有没有用，反正对结果没什么影响。

4. src/yolo_kernels.cu 文件中 :（经指正，步骤3,4是yolo1的内容，使用yolo_v2的话可以不用更改）

   • 位置第62行，draw_detection这个函数最后一个参数20改成1。

5. scripts/voc_label.py 文件中（这个应该没用的） :

   • 位置第9行改成：classes=[“text”]，因为我只有一类。

建立一个文件夹，里面JPEGImages里放入所有的图片，labels里放入所有的标签，系统会自动识别。

然后生成train.txt

list.py

# -*- coding: utf-8 -*-
import os
fw = open('train.txt','w')
files = os.listdir('/home/mingyu_ding/darknet/voc/Table/JPEGImages')
for f in files:
    file = '/home/mingyu_ding/darknet/voc/Table/JPEGImages' + os.sep + f
    print >> fw, file

就可以开始训练了，系统默认会迭代45000次。 

nohup ./darknet detector train cfg/voc.data cfg/yolo-voc.cfg darknet19_448.conv.23 > log.txt &

当然迭代次数是可以修改的，应该是在cfg/yolo_voc.cfg修改max_batches的值就行。

没训练完就可以测试啦

./darknet detector test cfg/voc.data cfg/yolo-voc.cfg backup/yolo-voc_5000.weights ../Downloads/1.jpg

参考链接：http://blog.csdn.net/hysteric314/article/details/54097845

结果如下：

 

后来又训练了京东的参数图数据。

图是自己下载的，重命名后用labelimg进行标注，之后用voc_label.py修改成标签数据即可。

rename.py

import os
from os.path import join

files = os.listdir('imageset')
i = 0
for f in files:
    i += 1
    print os.path.join(os.getcwd() + os.sep + 'imageset' , f)
    print os.getcwd() + os.sep  + 'imageset' + os.sep + '%d.jpg' % i
    os.rename(os.path.join(os.getcwd() + os.sep + 'imageset' , f), os.getcwd() + os.sep  + 'imageset' + os.sep + '%d.jpg' % i)

训练办法和上面一模一样'

结果如下图：

想要输出预测框的位置的话

修改 image.c 后重新 make 就可以了

printf("left:%d right:%d top:%d bot:%d\n",left,right,top,bot);

修改 detector.c 后 make 可以切割出想要的位置，如下图所示。

在函数draw_detections() 前面修改就可以

        int i;
    int j = 1;
        for(i = 0; i < l.w*l.h*l.n; ++i){
            int class = max_index(probs[i], l.classes);
            float prob = probs[i][class];
            if(prob > thresh){
        box b = boxes[i];
        int left  = (b.x-b.w/2.)*im.w;
        int right = (b.x+b.w/2.)*im.w;
        int top   = (b.y-b.h/2.)*im.h;
        int bot   = (b.y+b.h/2.)*im.h;
        if(left < 0) left = 0;
        if(right > im.w-1) right = im.w-1;
        if(top < 0) top = 0;
        if(bot > im.h-1) bot = im.h-1;
        int width = right - left;
                int height = bot - top;
        IplImage* src = cvLoadImage(input,-1);
        CvSize size = cvSize(width, height);
                //printf("%d,%d",src->depth,src->nChannels);
        IplImage* roi = cvCreateImage(size,src->depth,src->nChannels);
        CvRect box = cvRect(left, top, size.width, size.height);
        cvSetImageROI(src,box);
        cvCopy(src,roi,NULL);
        //cvNamedWindow("pic",CV_WINDOW_AUTOSIZE);
        //cvShowImage("pic",src);
        char name[4] = "cut";
        char name1[5] = ".jpg";
        char newname[100];
        sprintf(newname,"%s%d_%.0f%s",name,j,100*prob,name1);
        //printf("%s\n",newname);
        j++;
        cvSaveImage(newname,roi,0);
        //cvWaitKey(0); 
        //cvDestoryWindow("pic");
        cvReleaseImage(&src);
        cvReleaseImage(&roi);
        //printf("left:%d right:%d top:%d bot:%d\n",left,right,top,bot);
            }
        };

 

下一步就是识别出参数框里的文字了，需要数据集和标签的可以联系我。

sudo apt-get install tesseract-ocr

sudo apt-get install tesseract-ocr-chi-sim

tesseract cut1_93.jpg out -l eng+chi_sim

out.txt 就可以看了