深度学习 手写字体识别

数据集介绍：

mnist数据集使用tensorflow封装好的数据（包含6000张训练数据，1000张测试数据），图片大小为28x28。

在神经网络的结构上，一方面需要使用激活函数去线性化。另一方面需要增加网络的层数以解决更加复杂的问题。

关于tensorflow中的几个函数：
1. tf.Variable()和 tf.get_variable()中的区别：

tf.Variable()： 创建一个变量,

tf.get_variable():  创建或者获取一个变量,在用来创建变量时，和 tf.Variable()功能基本相同。

这两个函数不同的地方是，tf.Variable()函数，变量名称时可选的参数。tf.get_variable()变量名称是必填的参数，它会根据这个名称去创建或者获取变量。

（引用自：https://blog.csdn.net/weixin_38698649/article/details/80099822）

变量共享主要涉及两个函数：tf.variable() 和tf.get_variable()；即就是必须要在tf.variable_scope的作用域下使用tf.get_variable()函数。这里用tf.get_variable( ) 而不用tf.Variable( )，是因为tf.get_variable( ) 拥有一个变量检查机制，会检测已经存在的变量是否设置为共享变量，如果已经存在的变量没有设置为共享变量，TensorFlow 运行到第二个拥有相同名字的变量的时候，就会报错。

两个创建变量的方式。如果使用tf.Variable() 的话每次都会新建变量。但是大多数时候我们是希望重用一些变量，所以就用到了get_variable()，它会去搜索变量名，有就直接用，没有再新建。

既然用到变量名了，就涉及到了名字域的概念。通过不同的域来区别变量名，毕竟让我们给所有变量都取不同名字还是很辛苦。这就是为什么会有scope 的概念。name_scope 作用于操作，variable_scope 可以通过设置reuse 标志以及初始化方式来影响域下的变量，因为想要达到变量共享的效果, 就要在 tf.variable_scope()的作用域下使用 tf.get_variable() 这种方式产生和提取变量. 不像 tf.Variable() 每次都会产生新的变量, tf.get_variable() 如果遇到了已经存在名字的变量时, 它会单纯的提取这个同样名字的变量，如果不存在名字的变量再创建.。

2. name_scope和variable_scope的区别

TF中有两种作用域类型
命名域 (name scope)，通过tf.name_scope 或 tf.op_scope创建；
变量域 (variable scope)，通过tf.variable_scope 或 tf.variable_op_scope创建；
这两种作用域，对于使用tf.Variable()方式创建的变量，具有相同的效果，都会在变量名称前面，加上域名称。

对于通过tf.get_variable()方式创建的变量，只有variable scope名称会加到变量名称前面，而name scope不会作为前缀。例如 print(v1.name) # var1:0

网络的结构如图所示：

tensorflow实现：

# encoding: utf-8
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
 
 
class TrainData:
    def __init__(self, data_path, batch_size=100):
        """
        :param data_path: 训练数据路径
        """
        self.batch_size = batch_size
        self.mnist = input_data.read_data_sets(train_dir=data_path, one_hot=True)
 
    def display_data_info(self):
        """
        输出数据集的信息
        :return:
        """
        print("-"*40)
        print("training data size: {}".format(self.mnist.train.num_examples))
        print("test data size: {}".format(self.mnist.test.num_examples))
        print("validation data size: {}".format(self.mnist.validation.num_examples))
        print("-"*40)
 
    def next_batch(self):
        """
        获取下一个batch的数据  经过处理后的图片为（28x28=784）的一维数组
        :return:
        """
        xs, ys = self.mnist.train.next_batch(self.batch_size)    # 返回训练数据和标签  xs: [batch_size, 784]
        return xs, ys
 
    def validation_data(self):
        """
        返回验证集
        :return:
        """
        images, labels = self.mnist.validation.images, self.mnist.validation.labels
        return images, labels
 
    def test_data(self):
        """
        返回测试集
        :return:
        """
        images, labels = self.mnist.test.images, self.mnist.test.labels
        return images, labels
 
 
class Model:
    def __init__(self, input_node, output_node, layer1_node, layer2_node, regularizer=False, moving_average=False):
        """
        :param input_node:      输入数据的维度
        :param output_node:     输出数据的维度
        :param layer1_node:     隐藏层
        :param layer2_node:     隐藏层
        :param regularizer:     L2正则化
        :param moving_average:    滑动平均模型
        """
        self.input_node = input_node
        self.output_node = output_node
        self.layer1_node = layer1_node
        self.layer2_node = layer2_node
        # self.train_step = train_step
        self.regularizer = regularizer
        self.moving_average = moving_average
        self.moving_average_decay = 0.99    # 滑动平均衰减率
        # self.batch_size = batch_size
 
        """
            关于滑动平均模型：
            实际的原理是对参数的更新进行一阶之后滤波
            对每一个参数会维护一个影子变量shadow_variable
            shadow_variable = shadow_variable * decay + (1 - decay) * variable
            decay 决定了模型的更心速度
            num_updates参数来动态设置参数的大小
            decay = min{decay, (1+num_updates)/(10+num_up_dates)}
 
            """
 
        self.learning_rate_base = 0.0001     # 初始学习率
        self.learning_rate_decay = 0.98   # 学习率的衰减速度
        self.regularizer_rate = 0.001     # 正则化lambda
 
        with tf.name_scope("placeholder"):   # 变量名
            self.x = tf.placeholder(dtype=tf.float32, shape=[None, self.input_node], name='x-input')
            self.y_ = tf.placeholder(dtype=tf.float32, shape=[None, self.output_node], name='y-input')
 
        with tf.name_scope("weights"):
            # 网络第一层
            self.weight1 = tf.get_variable(initializer=tf.random_normal(dtype=tf.float32,
                                                                        shape=[self.input_node, self.layer1_node],
                                                                        mean=0, stddev=1),
                                           name='weight1')
            self.biases1 = tf.get_variable(initializer=tf.constant_initializer(0.0), shape=[self.layer1_node],
                                           dtype=tf.float32, name='biases1')
            self.layer1 = tf.nn.relu(tf.matmul(self.x, self.weight1) + self.biases1)    # 第一层
            # 正则化
            if self.regularizer:
                tf.add_to_collection(name='loss', value=tf.contrib.layers.l2_regularizer(self.regularizer_rate)(self.weight1))
 
            # 网络第二层
            self.weight2 = tf.get_variable(initializer=tf.random_normal(dtype=tf.float32,
                                                                        shape=[self.layer1_node, self.layer2_node],
                                                                        mean=0, stddev=1),
                                           name='weight2')
            self.biases2 = tf.get_variable(initializer=tf.constant_initializer(0.0), shape=[self.layer2_node],
                                           dtype=tf.float32, name='biases2')
            self.layer2 = tf.nn.relu(tf.matmul(self.layer1, self.weight2) + self.biases2)
            # 正则化
            if self.regularizer:
                tf.add_to_collection(name='loss', value=tf.contrib.layers.l2_regularizer(self.regularizer_rate)(self.weight2))
 
            # 网络第三层  全连接层
            self.weight3 = tf.get_variable(initializer=tf.random_normal(dtype=tf.float32, shape=[self.layer2_node, self.output_node],
                                                                        mean=0, stddev=1),
                                           name='weight3')
            self.biases3 = tf.get_variable(initializer=tf.constant_initializer(0.0), shape=[self.output_node],
                                           dtype=tf.float32, name='biases3')
            self.y = tf.matmul(self.layer2, self.weight3) + self.biases3   # 网络输出
 
        # 定义损失函数
        with tf.name_scope('create_loss'):
            # 计算交叉熵损失函数
            # 问题只有一个正确答案的时候，可以使用sparse_softmax_cross_entropy_with_logits来计算交叉熵
            # 这个函数可以加速交叉熵的计算
            # 但是这个函数需要提供的正确答案是一个数字，而不是one-hot向量
            self.cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits(logits=self.y, labels=tf.argmax(self.y_, 1))
            self.cross_entropy_mean = tf.reduce_mean(self.cross_entropy)
            tf.add_to_collection(name='loss', value=self.cross_entropy_mean)
            self.loss = tf.add_n(tf.get_collection('loss'))     # 总的loss
        with tf.name_scope("optimizer"):
            self.optimizer = tf.train.AdamOptimizer(self.learning_rate_base).minimize(self.loss)
 
        with tf.name_scope("evaluate"):    # 验证集
            self.correct_prediction = tf.equal(tf.argmax(self.y, 1), tf.argmax(self.y_, 1))
            self.accuracy = tf.reduce_mean(tf.cast(self.correct_prediction, dtype=tf.float32), name="accuracy")
 
        # tensorboard显示数据
        with tf.name_scope("summary"):
            tf.summary.scalar("loss", self.loss)
            tf.summary.scalar("accuracy", self.accuracy)
            self.summary_op = tf.summary.merge_all()
 
    def train(self, train_data, train_step=300):
        """
         训练数据
        :param train_data:
        :param train_step:
        :return:
        """
        with tf.Session() as sess:
            init_op = tf.group(tf.local_variables_initializer(), tf.global_variables_initializer())
            sess.run(init_op)
            # train_data = TrainData(data_path=train_data_path, batch_size=self.batch_size)
            board_data = r"E:\back_up\code\112\tensorflow_project\newbook\chapter3\model\tensorboard"  # tensorboard数据保存路径
            model_save = r'E:\back_up\code\112\tensorflow_project\newbook\chapter3\model\garph\graph'
            writer = tf.summary.FileWriter(logdir=board_data, graph=sess.graph)     # 保存tensorboard中的数据
            saver = tf.train.Saver(tf.global_variables(), max_to_keep=2)    # 保存模型
            for step in range(train_step):           # 开始训练
                xs, ys = train_data.next_batch()
                feed_dict = {self.x: xs, self.y_: ys}
                _, loss, summary = sess.run([self.optimizer, self.loss, self.summary_op], feed_dict=feed_dict)
                # print("loss after {} steps is {}".format(step, loss))
                if step % 200 == 0:
                    feed_dict = {self.x: train_data.validation_data()[0], self.y_: train_data.validation_data()[1]}
                    accuracy = sess.run(self.accuracy, feed_dict=feed_dict)
                    print("After {} step accuracy is {}".format(step, accuracy))
 
                    # 保存模型
                    saver.save(sess=sess, save_path=model_save)
                    # 保存tensorboard数据
                    writer.add_summary(summary=summary, global_step=step)
 
 
def predict(train_data):
    """
    对输入的值进行预测
    :param train_data:   输入数据
    :return:
    """
    # 加载训练好的模型
    model_load = r"E:\back_up\code\112\tensorflow_project\newbook\chapter3\model\garph"
    sess = tf.Session()
    check_point_file = tf.train.latest_checkpoint(model_load)
    saver = tf.train.import_meta_graph("{}.meta".format(check_point_file), clear_devices=True)
    saver.restore(sess=sess, save_path=check_point_file)
    graph = sess.graph
    test_data = graph.get_operation_by_name("placeholder/x-input").outputs[0]
    test_label = graph.get_operation_by_name("placeholder/y-input").outputs[0]
    test_accuracy = graph.get_operation_by_name("evaluate/accuracy").outputs[0]
    feed_dict = {test_data: train_data.test_data()[0], test_label: train_data.test_data()[1]}
    accuracy = sess.run(test_accuracy, feed_dict=feed_dict)
    print("The test accuracy is {}".format(accuracy))
 
 
if __name__ == '__main__':
    data_path = r'E:\code\112\tensorflow_project\chapter5\data\tensorflow_data'
    train_data = TrainData(data_path=data_path, batch_size=200)
    model = Model(input_node=784, output_node=10, layer1_node=500, layer2_node=400, regularizer=True)
    model.train(train_data=train_data, train_step=30000)
    print("---------test-----------")
    predict(train_data=train_data)
 
 

运行程序开始训练：

在cmd中输入如下命令：

tensorboard -logdir="E:\back_up\code\112\tensorflow_project\newbook\chapter3\model\garph"

如下图所示：

将后面的地址复制到浏览器：

可以看到训练的loss和验证集的accuracy：

最后，通过predict()函数加载训练好的模型，求出测试集在模型上的精度：

神经网络模型最终的目标是对未知数据提供判断，所以为了对模型未知数据上的表现进行判断，需要保证测试数据在训练过程中不可见，为了评估模型在不同参数下的效果，通常会从训练数据中抽取一部分数据作为验证集。如果验证数据集不能很好的代表测试数据集的分布，则模型在这两个数据集上的表现很可能是不一样的。