图片数据处理

处理GTSRB的原始数据集，从GTSRB官网上下载的文件由2个压缩文件组成，分别为GTSRB_Final_Test_Images.zip, GTSRB_Final_Training_Images.zip。

下载地址：http://benchmark.ini.rub.de/?section=gtsrb&subsection=dataset

从官网说明得知共有43个类别的交通标志牌，解压后分别得到训练集和测试集，其中训练集图片按类别分别存储在不同文件夹下，每个类别分别有200到2000多张图片不等。

图片以PPM格式存储，每个文件夹下都有一个CSV文件，存储着不同图片的大小信息以及交通标识在图片上的位置坐标，

下面的程序要做的是遍历图片文件，根据CSV提供的信息，对图片进行裁剪，并以JPG格式保存到指定文件夹，通过这次练习，对os.path(), os.walk()等一些API有了一定了解，

处理后的数据作为接下来制作TFFrecords文件提供材料

# -*- coding: utf-8 -*-

from PIL import Image
import os
import re

# 获取当前路径(不光以下的方法，还有其它方法，如os.getcwd())
cur_path = os.path.abspath(os.curdir)
# print(cur_path)

new_dir = ['test_file_dir', 'train_file_dir']
for dir in new_dir:
    dir = os.path.join(cur_path, dir)
    if os.path.exists(dir):  # 否则会报错
        pass
    else:
        os.mkdir(dir)

# resize后的大小
width = 128
height = 128

test_source_dir = 'E:\CV\VGGnet\GTSRB_Final_Test_Images\GTSRB\Final_Test\Images'
train_source_dir = 'E:\CV\VGGnet\GTSRB_Final_Training_Images\GTSRB\Final_Training\Images'

# 处理测试集
# with open('\GTSRB_Final_Test_Images\GT-final_test.test.csv') as file:
with open(test_source_dir + '\GT-final_test.test.csv', 'r') as file:
    print('lala')
    content = []
    i = 0
    for line in file:
        print(line)
        i += 1
        if i == 1:
            continue
        content = content + line.split(';')
        print(content)
        pic = Image.open(test_source_dir + '\\' + content[0]) # 如果使用os.path.join()的话，中间不用加'\\'
        pic = pic.crop((float(content[3]), float(content[4]), float(content[5]), float(content[6][:-1]))) # content[6]里有一个换行符
        # 调整图像大小（Image.BILINEAR指定采用双线性法对像素点插值）
        pic.resize((width, height), Image.BILINEAR).save(r'%s\%s.jpg' % (os.path.join(cur_path, new_dir[0]), content[0][0:-4]))
        content[:] = []

# 处理训练集

# dirs, files分别是子文件夹和文件的名称的list，注意不是路径!!! root即walk()里的路径
for (root, dirs, files) in os.walk(train_source_dir):  # os.walk()不返回任何东西，不能用=号, 只能用for...in...的方式获得
    for sub_dir in dirs:
        new_folder = os.path.join(cur_path, new_dir[1], sub_dir)
        # print(new_folder)
        if os.path.exists(new_folder):
            pass
        else:
            os.mkdir(new_folder)
        for (_, _, filename) in os.walk(os.path.join(root, sub_dir)):
            for sub_file in filename:
                if sub_file.endswith('.csv'):
                    with open(os.path.join(root, sub_dir, sub_file), 'r') as csv_file:
                        print('lala')
                        content = []
                        i = 0
                        for line in csv_file:
                            print(line)
                            i += 1
                            if i == 1:
                                continue
                            content = content + line.split(';')
                            print(content)
                            pic = Image.open(os.path.join(root, sub_dir, content[0]))
                            pic = pic.crop((float(content[3]), float(content[4]), float(content[5]),
                                            float(content[6])))
                            # 调整图像大小（Image.BILINEAR指定采用双线性法对像素点插值）
                            pic.resize((width, height), Image.BILINEAR).save(r'%s\%s.jpg' % (new_folder, content[0][0:-4]))
                            content[:] = []