Tensorflow实战一：mnist手写数字识别
一、Tensorflow实现mnist手写数字识别
🍺 本周任务：
- 跑通程序
- 了解深度学习是什么
这是TensorFlow的第一篇教案，也是深度学习的入门案例，我们或许可以按照下面的步骤进行学习
- 👉 第一步：整体把握每一部分代码的功能，看第1遍
- 👉第二步：把握每一行语句的含义，知道实现的是什么功能就行，这里需要不求甚解，看第2遍
- 👉第三步：动手跟着教案敲一遍代码，把代码跑通
📑备注：
- 如果你之前没有接触过深度学习，第一篇你学起来可能比较蒙，不要着急，等到第3、4篇教案案例的时候，你会逐步理解的，不要尝试一下就弄明白。
- 把程序当做一个黑盒，先去学会使用（这是我们现阶段的任务），然后再去理解其原理。
🦾我的环境：
-
语言环境：Python3.11.9
-
编译器：jupyter notebook
-
深度学习环境：TensorFlow2.17.0
一、前期工作
1. 设置GPU（如果使用的是CPU可以忽略这步）
import tensorflow as tf
gpus = tf.config.list_physical_devices("GPU")
if gpus:
gpu0 = gpus[0] #如果有多个GPU，仅使用第0个GPU
tf.config.experimental.set_memory_growth(gpu0, True) #设置GPU显存用量按需使用
tf.config.set_visible_devices([gpu0],"GPU")
2. 导入数据
import tensorflow as tf
from tensorflow.keras import datasets, layers, models
import matplotlib.pyplot as plt
# 导入mnist数据，依次分别为训练集图片、训练集标签、测试集图片、测试集标签
(train_images, train_labels), (test_images, test_labels) = datasets.mnist.load_data()
3. 归一化
数据归一化作用
-
使不同量纲的特征处于同一数值量级，减少方差大的特征的影响，使模型更准确。
-
加快学习算法的收敛速度。
更详解的介绍请参考文章：🔗归一化与标准化
# 将像素的值标准化至0到1的区间内。(对于灰度图片来说，每个像素最大值是255，每个像素最小值是0，也就是直接除以255就可以完成归一化。)
train_images, test_images = train_images / 255.0, test_images / 255.0
# 查看数据维数信息
train_images.shape,test_images.shape,train_labels.shape,test_labels.shape
"""
输出：((60000, 28, 28), (10000, 28, 28), (60000,), (10000,))
"""
👉 输出：
"""
输出：((60000, 28, 28), (10000, 28, 28), (60000,), (10000,))
"""
4. 可视化图片
# 将数据集前20个图片数据可视化显示
# 进行图像大小为20宽、10长的绘图(单位为英寸inch)
plt.figure(figsize=(20,10))
# 遍历MNIST数据集下标数值0~49
for i in range(20):
# 将整个figure分成5行10列，绘制第i+1个子图。
plt.subplot(2,10,i+1)
# 设置不显示x轴刻度
plt.xticks([])
# 设置不显示y轴刻度
plt.yticks([])
# 设置不显示子图网格线
plt.grid(False)
# 图像展示，cmap为颜色图谱，"plt.cm.binary"为matplotlib.cm中的色表
plt.imshow(train_images[i], cmap=plt.cm.binary)
# 设置x轴标签显示为图片对应的数字
plt.xlabel(train_labels[i])
# 显示图片
plt.show()
二、构建CNN网络模型
网络结构图（可单击放大查看）：
# 创建并设置卷积神经网络
# 卷积层：通过卷积操作对输入图像进行降维和特征抽取
# 池化层：是一种非线性形式的下采样。主要用于特征降维，压缩数据和参数的数量，减小过拟合，同时提高模型的鲁棒性。
# 全连接层：在经过几个卷积和池化层之后，神经网络中的高级推理通过全连接层来完成。
model = models.Sequential([
# 设置二维卷积层1，设置32个3*3卷积核，activation参数将激活函数设置为ReLu函数，input_shape参数将图层的输入形状设置为(28, 28, 1)
# ReLu函数作为激活励函数可以增强判定函数和整个神经网络的非线性特性，而本身并不会改变卷积层
# 相比其它函数来说，ReLU函数更受青睐，这是因为它可以将神经网络的训练速度提升数倍，而并不会对模型的泛化准确度造成显著影响。
layers.Conv2D(32, (3, 3), activation='relu', input_shape=(28, 28, 1)),
#池化层1，2*2采样
layers.MaxPooling2D((2, 2)),
# 设置二维卷积层2，设置64个3*3卷积核，activation参数将激活函数设置为ReLu函数
layers.Conv2D(64, (3, 3), activation='relu'),
#池化层2，2*2采样
layers.MaxPooling2D((2, 2)),
layers.Flatten(), #Flatten层，连接卷积层与全连接层
layers.Dense(64, activation='relu'), #全连接层，特征进一步提取，64为输出空间的维数，activation参数将激活函数设置为ReLu函数
layers.Dense(10) #输出层，输出预期结果，10为输出空间的维数
])
# 打印网络结构
model.summary()
三、编译模型
"""
这里设置优化器、损失函数以及metrics
"""
# model.compile()方法用于在配置训练方法时，告知训练时用的优化器、损失函数和准确率评测标准
model.compile(
# 设置优化器为Adam优化器
optimizer='adam',
# 设置损失函数为交叉熵损失函数（tf.keras.losses.SparseCategoricalCrossentropy()）
# from_logits为True时，会将y_pred转化为概率（用softmax），否则不进行转换，通常情况下用True结果更稳定
loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
# 设置性能指标列表，将在模型训练时监控列表中的指标
metrics=['accuracy'])
四、训练模型
"""
这里设置输入训练数据集（图片及标签）、验证数据集（图片及标签）以及迭代次数epochs
关于model.fit()函数的具体介绍可参考我的博客：
https://blog.csdn.net/qq_38251616/article/details/122321757
"""
history = model.fit(
# 输入训练集图片
train_images,
# 输入训练集标签
train_labels,
# 设置10个epoch，每一个epoch都将会把所有的数据输入模型完成一次训练。
epochs=10,
# 设置验证集
validation_data=(test_images, test_labels))
# 保持模型文件，模型文件在后面单张预测时可用到
model.save('mnist_model.h5')
使用测试集评估模型的性能。
# 使用测试数据评估模型的性能。
test_loss, test_acc = model.evaluate(test_images, test_labels)
print('Test accuracy:', test_acc)
输出
313/313 ━━━━━━━━━━━━━━━━━━━━ 2s 5ms/step - accuracy: 0.9911 - loss: 0.0497
Test accuracy: 0.9926999807357788
五、预测
通过下面的网络结构我们可以简单理解为，输入一张图片，将会得到一组数，这组代表这张图片上的数字为0~9中每一个数字的几率（并非概率），out数字越大可能性越大，仅此而已。
在这一步中部分同学会因为 matplotlib 版本原因报 Invalid shape (28, 28, 1) for image data 的错误提示，可以将代码改为 plt.imshow(test_images[1].reshape(28,28)) 。
plt.imshow(test_images[1])
输出测试集中第一张图片的预测结果
pre = model.predict(test_images) # 对所有测试图片进行预测
pre[1] # 输出第一张图片的预测结果,数值最的就是结果
预测结果输出
plt.imshow(test_images[1].reshape(28,28), cmap=plt.cm.binary)
plt.xlabel(f'Predict: {np.argmax(predictions[1])}')
输出：
Text(0.5, 0, 'Predict: 2')
部分测试集图片，可视化结果
- 你可以选择一些测试图像和它们的预测标签来可视化模型的预测结果。
import matplotlib.pyplot as plt
import numpy as np
plt.figure(figsize=(10,10))
for i in range(25):
plt.subplot(5,5,i+1)
plt.xticks([])
plt.yticks([])
plt.grid(False)
plt.imshow(test_images[i].reshape(28,28), cmap=plt.cm.binary)
plt.xlabel(f'Predict: {np.argmax(predictions[i])}')
plt.show()
六、预测一张图片结果
如果你只想对一张手写数字图像进行预测，你可以将图像数据预处理成模型期望的格式，并使用模型的predict方法进行预测。以下是对一张图像进行预测的步骤：
import numpy as np
import tensorflow as tf
from tensorflow.keras.preprocessing import image
# 1. 加载模型（假设你已经有了一个训练好的模型）
model = tf.keras.models.load_model('mnist_model.h5') # 替换为你的模型文件路径
# 2. 加载和预处理图像
img_path = '8.png' # 替换为你的图像文件路径
img = image.load_img(img_path, color_mode='grayscale', target_size=(28, 28))
img_array = image.img_to_array(img)
img_array = np.expand_dims(img_array, axis=0)
img_array /= 255.0
# 3. 预测图像
prediction = model.predict(img_array)
predicted_label = np.argmax(prediction, axis=1)
# 4. 输出预测结果
print(f'Predicted label: {predicted_label[0]}')
输出：
Predicted label: 8
七、知识点详解
本文使用的是最简单的CNN模型 LeNet-5，如果是第一次接触深度学习的话，可以先试着把代码跑通，然后再尝试去理解其中的代码。
1. MNIST手写数字数据集介绍
MNIST手写数字数据集来源于是美国国家标准与技术研究所，是著名的公开数据集之一。数据集中的数字图片是由250个不同职业的人纯手写绘制，数据集获取的网址为：http://yann.lecun.com/exdb/mnist/（下载后需解压）。我们一般会采用(train_images, train_labels), (test_images, test_labels) = datasets.mnist.load_data()这行代码直接调用，这样就比较简单
MNIST手写数字数据集中包含了70000张图片，其中60000张为训练数据，10000为测试数据，70000张图片均是28*28，数据集样本如下：
Size:28×28 灰度手写数字图像Num:训练集 60000 和 测试集 10000，一共70000张图片Classes:0，1，2，3，4，5，6，7，8，9
如果我们把每一张图片中的像素转换为向量，则得到长度为28*28=784的向量。因此我们可以把训练集看成是一个[60000,784]的张量，第一个维度表示图片的索引，第二个维度表示每张图片中的像素点。而图片里的每个像素点的值介于0-1之间。
2. 神经网络程序说明
神经网络程序可以简单概括如下：
3. 网络结构说明
模型的结构
各层的作用
-
输入层：用于将数据输入到训练网络
-
卷积层：使用卷积核提取图片特征
-
池化层：进行下采样，用更高层的抽象表示图像特征
-
Flatten层：将多维的输入一维化，常用在卷积层到全连接层的过渡
-
全连接层：起到“特征提取器”的作用
-
输出层：输出结果
八、总结
- 一定要借助大模型：打开Kimi
- 输入1：使用tensorflow2 实现mnist手写数字识别
- 输入2：如果只预测一张图呢，如何修改 （发现生成代码中没有保持为*.h5模型文件）
- 提示3：上面的代码，在6步：训练模型，后如何保持为*.h5文件
- 神经网络程序实现流程非常重要
- 参考资源：
