mnist手写数据集的解析

下载完数据后，给的并不是图像数据集，而是四个压缩包，对应的是测试集和训练集与对应的标签，然后需要对其解析才能得到图像数据集

本文代码的来源是： 链接

需要注意的是，两个数据集的大小不一样

首先是测试集代码如下

import numpy as np
import struct

from PIL import Image
import os

data_file = r'D:\Desktop\photo\MNIST\t10k-images.idx3-ubyte'
# It's 7840016B, but we should set to 7840000B
data_file_size = 7840016
data_file_size = str(data_file_size - 16) + 'B'
data_buf = open(data_file, 'rb').read()
magic, numImages, numRows, numColumns = struct.unpack_from(
    '>IIII', data_buf, 0)
datas = struct.unpack_from(
    '>' + data_file_size, data_buf, struct.calcsize('>IIII'))
datas = np.array(datas).astype(np.uint8).reshape(
    numImages, 1, numRows, numColumns)
label_file = r'D:\Desktop\photo\MNIST\t10k-labels.idx1-ubyte'
# It's 10008B, but we should set to 10000B
label_file_size = 10008
label_file_size = str(label_file_size - 8) + 'B'

label_buf = open(label_file, 'rb').read()

magic, numLabels = struct.unpack_from('>II', label_buf, 0)
labels = struct.unpack_from(
    '>' + label_file_size, label_buf, struct.calcsize('>II'))
labels = np.array(labels).astype(np.int64)

#这里是测试集文件夹名称
datas_root = 'mnist_test'
if not os.path.exists(datas_root):
    os.mkdir(datas_root)

for i in range(10):
    file_name = datas_root + os.sep + str(i)
    if not os.path.exists(file_name):
        os.mkdir(file_name)

for ii in range(numLabels):
    img = Image.fromarray(datas[ii, 0, 0:28, 0:28])
    label = labels[ii]
    file_name = datas_root + os.sep + str(label) + os.sep + \
                'mnist_test_' + str(ii) + '.png'
    img.save(file_name)

• 对于代码的一些解释

t10k-images.idx3-ubyte 在网上下载mnist数据集解压后，他给的是对应数据集和标签的二进制流，我们需要给它解译为正常的数组，data_file_size是二进制流中全部图像数据的长度（大小），在数据流的最前方是他的头部信息，图像和标签的头部信息不一样，图像有四个头部信息，标签有俩，struct.unpack_from函数从二进制数据中解析出图像数据，'>IIII'是一个格式字符串，表示解析的数据格式，对应四个头部信息，（标签是俩）。最后一个参数是偏移量（数据读取的起始位置）。
整个代码可以学习的一个是关于二进制流到数据流的过程，另一个是通过os库建立文件夹，并存储数据的过程，可以当作模板。os.sep是路径分隔符 \，在最后的存储图像时os.sep + \，两个分隔符是为了避免系统将其当作转义字符。

这里是训练集的代码

import numpy as np
import struct

from PIL import Image
import os

data_file = r'D:\Desktop\photo\MNIST\train-images.idx3-ubyte'
# It's 47040016B, but we should set to 47040000B
data_file_size = 47040016
data_file_size = str(data_file_size - 16) + 'B'
data_buf = open(data_file, 'rb').read()
magic, numImages, numRows, numColumns = struct.unpack_from(
    '>IIII', data_buf, 0)
datas = struct.unpack_from(
    '>' + data_file_size, data_buf, struct.calcsize('>IIII'))
datas = np.array(datas).astype(np.uint8).reshape(
    numImages, 1, numRows, numColumns)
label_file = r'D:\Desktop\photo\MNIST\train-labels.idx1-ubyte'
# It's 60008B, but we should set to 60000B
label_file_size = 60008
label_file_size = str(label_file_size - 8) + 'B'

label_buf = open(label_file, 'rb').read()

magic, numLabels = struct.unpack_from('>II', label_buf, 0)
labels = struct.unpack_from(
    '>' + label_file_size, label_buf, struct.calcsize('>II'))
labels = np.array(labels).astype(np.int64)

#这里是训练集文件夹名称
datas_root = 'mnist_train'
if not os.path.exists(datas_root):
    os.mkdir(datas_root)

for i in range(10):
    file_name = datas_root + os.sep + str(i)
    if not os.path.exists(file_name):
        os.mkdir(file_name)

for ii in range(numLabels):
    img = Image.fromarray(datas[ii, 0, 0:28, 0:28])
    label = labels[ii]
    file_name = datas_root + os.sep + str(label) + os.sep + \
                'mnist_train_' + str(ii) + '.png'
    img.save(file_name)