Tensorflow之MNIST手写数字识别：分类问题（2）
整体代码：
#数据读取 import tensorflow as tf import matplotlib.pyplot as plt import numpy as np from tensorflow.examples.tutorials.mnist import input_data mnist = input_data.read_data_sets("MNIST_data/",one_hot=True) #定义待输入数据的占位符 #mnist中每张照片共有28*28=784个像素点 x = tf.placeholder(tf.float32,[None,784],name="X") #0-9一共10个数字=>10个类别 y = tf.placeholder(tf.float32,[None,10],name="Y") #定义模型变量 #以正态分布的随机数初始化权重W，以常数0初始化偏置b #在神经网络中，权值W的初始值通常设为正态分布的随机数，偏置项b的初始值通常也设置为正态分布的随机数或常数。 W = tf.Variable(tf.random_normal([784,10],name="W")) b = tf.Variable(tf.zeros([10]),name="b") #用单个神经元构建神经网络 forward=tf.matmul(x,W) + b #前向计算 #结果分类 #当我们处理多分类任务的时候，通常需要使用Softmax Regression模型。Softmax会对每一类别估算出一个概率。 #工作原理：将判定为某一类的特征相加，然后将这些特征转化为判定是这一类的概率 pred = tf.nn.softmax(forward) #Softmax分类 #设置训练参数 train_epochs = 120 #训练轮数 batch_size = 120 #单次训练样本数（批次大小） total_batch = int(mnist.train.num_examples/batch_size) #一轮训练有多少批次 display_step = 1 #显示粒度 learning_rate = 0.01 #学习率 #概率估算值需要将预测输出值控制在[0,1]区间内。二元分类问题的目标是正确预测两个可能标签中的一个 #逻辑回归可以用于处理这类问题。二元逻辑回归的损失函数一般采用对数损失函数 #多元分类：逻辑回归可生成介于0到1.0之间的小数。Softmax将这一想法延伸到多类别领域。 #在多类别问题中，Softmax会为每个类别分配一个用小数表示的概率。这些用小数表示的概率相加之和必须是1.0 #交叉熵损失函数：交叉熵是一个信息论的概念，它原来是用来估算平均编码长度的。 #交叉熵刻画的是两个概率分布之间的距离，p代表正确答案，q代表的预测值，交叉熵越小，两个概率的分布越接近 #定义损失函数 loss_function = tf.reduce_mean(-tf.reduce_sum(y*tf.log(pred),reduction_indices=1)) #交叉熵 #选择优化器 optimizer = tf.train.GradientDescentOptimizer(learning_rate).minimize(loss_function) #梯度下降优化器 #定义准确率 # 检查预测类别tf.argmax(pred,1)与实际类别tf.argmax(y,1)的匹配情况 #argmax()将数组中最大值的下标取出来 correct_prediction = tf.equal(tf.argmax(pred,1),tf.argmax(y,1)) #准确率，将布尔值转化为浮点数，并计算平均值 tf.cast()将布尔值投射成浮点数 accuracy = tf.reduce_mean(tf.cast(correct_prediction,tf.float32)) #声明会话，初始化变量 sess = tf.Session() init = tf.global_variables_initializer() #变量初始化 sess.run(init) #训练模型 for epoch in range(train_epochs): for batch in range(total_batch): xs,ys = mnist.train.next_batch(batch_size) #读取批次数据 sess.run(optimizer,feed_dict={x:xs,y:ys}) #执行批次训练 #total_batch个批次训练完成后，使用验证数据计算误差与准确率，验证集没有分批 loss,acc = sess.run([loss_function,accuracy],feed_dict={x:mnist.validation.images,y:mnist.validation.labels}) #打印训练过程中的详细信息 if (epoch+1) % display_step == 0: print("Train Epoch:",'%02d'%(epoch+1),"Loss=","{:.9f}".format(loss),"Accuracy=","{:.4f}".format(acc)) print("Train Finished!") #评估模型 #完成训练后，在测试集上评估模型的准确率 accu_test = sess.run(accuracy,feed_dict={x:mnist.test.images,y:mnist.test.labels}) print("Test Accuracy:",accu_test) #完成训练后，在验证集上评估模型的准确率 accu_validation = sess.run(accuracy,feed_dict={x:mnist.validation.images,y:mnist.validation.labels}) print("Test Accuracy:",accu_validation) #完成训练后，在训练集上评估模型的准确率 accu_train = sess.run(accuracy,feed_dict={x:mnist.train.images,y:mnist.train.labels}) print("Test Accuracy:",accu_train) #应用模型 #在建立模型并进行训练后，若认为准确率可以接受，则可以使用此模型进行预测 #由于pred预测结果是one_hot编码格式，所以需要转换成0~9数字 prediction_result = sess.run(tf.argmax(pred,1),feed_dict={x:mnist.test.images}) #查看预测结果中的前10项 prediction_result[0:10] #定义可视化函数 def plot_images_labels_prediction(images,labels,prediction,index,num=10): #参数： 图形列表，标签列表，预测值列表，从第index个开始显示，缺省一次显示10幅 fig = plt.gcf() #获取当前图表，Get Current Figure fig.set_size_inches(10,12) #1英寸等于2.45cm if num > 25 : #最多显示25个子图 num = 25 for i in range(0,num): ax = plt.subplot(5,5,i+1) #获取当前要处理的子图 ax.imshow(np.reshape(images[index],(28,28)), cmap = 'binary') #显示第index个图像 title = "labels="+str(np.argmax(labels[index])) #构建该图上要显示的title信息 if len(prediction)>0: title += ",predict="+str(prediction[index]) ax.set_title(title,fontsize=10) #显示图上的title信息 ax.set_xticks([]) #不显示坐标轴 ax.set_yticks([]) index += 1 plt.show() #可视化预测结果 plot_images_labels_prediction(mnist.test.images,mnist.test.labels,prediction_result,10,10)
