机器学习之分类
分类任务和回归任务的不同之处在于，分类任务需要做出离散的预测。对于多分类任务的神经网络模型，其输出目标通常会用one-hot编码来表示，在输出层中使用softmax函数，同时使用分类交叉熵损失函数进行训练。在本博客中，我们将使用TensorFlow的底层API实现一个基于全连接层的神经网络来进行MNIST数字图像分类。下面是涉及到的相关概念：
深度学习是一种机器学习方法，它通过多层神经网络层次化地提取特征，以解决各种复杂的分类和回归问题。
神经网络是深度学习的基本组成部分，由多个层次化的神经元组成。输入层接受数据，中间的隐藏层通过权重和激活函数处理数据，最终输出层产生分类结果。在这个示例中，我们将手动实现神经网络的核心组件。
前向传播是神经网络中的信息传递过程，从输入层到输出层，每一层的神经元根据权重和激活函数计算输出。这个过程将输入数据映射到预测输出。
反向传播是训练神经网络的关键步骤，它通过计算预测与真实标签之间的误差，并将误差反向传播到网络中的每一层来更新权重，以最小化误差。
内容大纲
- 神经网络核心组件的实现
- 数据加载处理
- 构建训练模型
- 总结
神经网络核心组件的实现
以下代码分别实现了密集层DenseLayer，网络模型SequentialModel，批次生成器BatchGenerator，批次权重更新one_training_step 以及 训练函数fit。
from keras.datasets import mnist
import math
import tensorflow as tf
import numpy as np
class DenseLayer: # 简单的Dense类
def __init__(self, input_size, output_size, activation):
self.activation = activation
w_shape = (input_size, output_size) # 创建一个形状为(input_size, output_size)的矩阵W，并将其随机初始化
w_initial_value = tf.random.uniform(w_shape, minval=0, maxval=1e-1)
self.W = tf.Variable(w_initial_value)
b_shape = (output_size,) # 创建一个形状为(output_size,)的零向量b
b_initial_value = tf.zeros(b_shape)
self.b = tf.Variable(b_initial_value)
def __call__(self, inputs): # 前向传播
return self.activation(tf.matmul(inputs, self.W) + self.b)
@property
def weights(self): # 获取该层权重
return [self.W, self.b]
class SequentialModel: # 简单的Sequential类
def __init__(self, layers):
self.layers = layers
def __call__(self, inputs):
x = inputs
for layer in self.layers:
x = layer(x)
return x
@property
def weights(self):
weights = []
for layer in self.layers:
weights += layer.weights
return weights
class BatchGenerator: # 批量生成器
def __init__(self, images, labels, batch_size=128):
assert len(images) == len(labels)
self.index = 0
self.images = images
self.labels = labels
self.batch_size = batch_size
self.num_batches = math.ceil(len(images) / batch_size)
def next(self):
images = self.images[self.index: self.index + self.batch_size]
labels = self.labels[self.index: self.index + self.batch_size]
self.index += self.batch_size
return images, labels
# 更新参数
learning_rate = 1e-3 # 学习率
def update_weights(gradients, weights):
for g, w in zip(gradients, weights):
w.assign_sub(g * learning_rate) # assign_sub相当于TensorFlow变量的-=
# 计算梯度，并更新权重
def one_training_step(model, images_batch, labels_batch):
with tf.GradientTape() as tape: # 运行前向传播，即在GradientTape作用域内计算模型预测值
predictions = model(images_batch)
# 标签编码为整数，使用sparse_categorical_crossentropy损失函数
per_sample_losses = tf.keras.losses.sparse_categorical_crossentropy(labels_batch, predictions)
average_loss = tf.reduce_mean(per_sample_losses)
gradients = tape.gradient(average_loss, model.weights) # 计算损失相对于权重的梯度。输出gradients是一个列表，每个元素对应model.weights列表中的权重
update_weights(gradients, model.weights) # 利用梯度来更新权重
return average_loss
# 完整的训练循环
def fit(model, images, labels, epochs, batch_size=128):
for epoch_counter in range(epochs):
print(f"Epoch {epoch_counter}")
batch_generator = BatchGenerator(images, labels)
for batch_counter in range(batch_generator.num_batches):
images_batch, labels_batch = batch_generator.next()
loss = one_training_step(model, images_batch, labels_batch)
if batch_counter % 100 == 0:
print(f"loss at batch {batch_counter}: {loss:.2f}")
数据加载处理
首先，我们需要准备数据。MNIST数据集包含手写数字图像，每个图像是28x28像素的灰度图像，总共有10个类别（0到9）。
# 加载MNIST数据集
(train_images, train_labels), (test_images, test_labels) = mnist.load_data()
# 归一化像素值到0到1之间
train_images = train_images.reshape((60000, 28 * 28)).astype("float32") / 255
test_images = test_images.reshape((10000, 28 * 28)).astype("float32") / 255
构建训练模型
接下来，我们将使用DenseLayer 和 SequentialModel 类构建一个两层的全连接神经网络模型。
# 利用这个DenseLayer类和SequentialModel类，创建一个与Keras类似的模型
model = SequentialModel([
DenseLayer(input_size=28 * 28, output_size=512, activation=tf.nn.relu),# 全连接层，512个单元，ReLU激活函数
DenseLayer(input_size=512, output_size=10, activation=tf.nn.softmax) # 输出层，10个输出单元对应0-9的数字，使用softmax激活函数
])
现在，我们将使用手动实现的神经网络模型来进行训练。
# 开始训练
fit(model, train_images, train_labels, epochs=10, batch_size=128)
# 预测结果准确率
predictions = model(test_images).numpy()
predicted_labels = np.argmax(predictions, axis=1)
matches = predicted_labels == test_labels
print(f"accuracy: {matches.mean():.2f}")
总结
在本博客中，我们使用TensorFlow的底层API手动实现了一个基于全连接层的神经网络模型，并将其应用于MNIST数字图像分类。我们涵盖了深度学习分类的基本原理，包括神经网络、前向传播和反向传播。通过适当的数据处理、模型构建、训练和预测，我们成功地分类了手写数字图像，这是深度学习在计算机视觉中的一个典型应用。希望本文能帮助你了解深度学习分类的基本流程和实现细节。通过底层API的实现，你可以更深入地理解深度学习模型的内部工作原理。
