【TensorFlow探索之一】MNIST的初步尝试
最近在学习TensorFlow，尝试的第一个项目是MNIST。首先给出源码地址。
1 数据集的获取
我们可以直接运行下面的代码，来获取到MNIST的数据集。
from tensorflow.examples.tutorials.mnist import input_data # 载入数据，并是labels进行one-hot编码 mnist = input_data.read_data_sets('./MNIST_data/',one_hot=True)
但是，由于网络的问题，input_data下载和解压数据时会出现问题，因此，我们只能手动下载MNIST的数据集。
这是下载地址，4个红色的连接即MNIST的数据集，下载下来，并放入MNIST_data文件中，然后运行上述代码就不会出错了。
此时，文件有训练集、验证集和测试集，如下图所示。我们可以看到28*28的图像展开成了一维结果（28*28=784），丢弃了图像的空间结构，因为这是我们第一次尝试使用TensorFlow，不需要过于复杂。而标签值进行值one-hot编码。
# 下面是训练集、测试集和验证集的images和labels train_images = mnist.train.images train_labels = mnist.train.labels test_images = mnist.test.images test_labels = mnist.test.labels validation_images = mnist.validation.images validation_labels = mnist.validation.labels
2 MNIST分类学习
2.1 模型与原理
以训练集为例，我们知道训练集有55000个样本，并将每个样本展开成一维，因此X的大小为55000*784。而label经过one-hot编码，每一个样本的label对应一个1*10的向量，因此，label是55000*10的矩阵。
在这里，我们使用softmax regression来对图片进行分类。其中，softmax的表达式为
$$softmax(x_i)=\frac{e^{x_i}}{\sum_ {j} e^{x_j}}$$
此时，我们将分类出来的$y_i$进行概率归一化，选择概率最大的$y_i$作为其分类的结果。而怎么求$y_i$呢，我们可以定义一个模型，如下图所示，利用权重W和偏差b来表示：
$$y_i=softmax(x_{i}W+b)$$
当定义完我们的模型后，我们需要loss函数来就出最优的W和b。对于多分类问题，通常使用cross-entropy（交叉熵）来作为loss函数。交叉熵的定义为：
$$H(p,q)=-\sum p(x)log(q(x))$$
其中，p为真实分布，q为预测分布。交叉熵越小，说明p和q的分布越接近。因此，我们对交叉熵使用梯度下降法，迭代更新W和b，最终得到最优解。
我们在下一个帖子详细介绍softmax+交叉熵的工作原理。
2.2 TensorFlow实现
首先，创建一个默认的session
# 创建一个新的session sess = tf.InteractiveSession()
然后，设置相关的x,W,b,y和y_，分别表示输入数据，权重，偏差，输出数据和真实标签值。
# x为images x = tf.placeholder(tf.float32,[None,784]) # W为权重 W = tf.Variable(tf.zeros([784,10])) # b为偏差 b = tf.Variable(tf.zeros([10])) y = tf.nn.softmax(tf.matmul(x,W)+b) y_ = tf.placeholder(tf.float32,[None,10])
其中，None表示不限条数的输入。对于训练集而言，x的大小为55000*784，每一行表示一个例子；W的大小为784*10，每一列代表第i列的权重；b的大小为1*10，在numpy中，如果矩阵与向量相加，其结果是矩阵中的每一行都与向量相加，因此要求矩阵的列数与向量的维数相等；y为计算出来的标签值，而y_则是真实的标签值，它们的大小都为55000*784。
对于多分类问题，通常使用cross-entropy（交叉熵）作为损失函数，利用梯度下降法来对其进行优化，此时就要使用到优化器。
cross_entropy = tf.reduce_mean(-tf.reduce_sum(y_*tf.log(y),reduction_indices=[1]))
train_step = tf.train.GradientDescentOptimizer(0.5).minimize(cross_entropy)
接下来，我们要初始化变量，并给其feed数据来进行迭代计算。
tf.global_variables_initializer().run() for i in range(1000): batch_xs,batch_ys = mnist.train.next_batch(100) train_step.run({x:batch_xs,y_:batch_ys})
最后，验证其准确度。在这里，argmax()函数是返回最大值的index，而其中的参数"1"表示轴1，即每一行，因此，返回的index即表示其分类出来的数字。通过tf.equal()来比较是否相同，最后，correct_prediction 会是一个列向量。
tf.cast()函数是将此数据类型转换成另外一种数据类型。为什么要转换，因为转换后可以计算平均值了。利用tf.reduce_mean()函数来求轴0的均值，当分类正确，其值为1，不正确，其值为0，因此计算出来的均值即准确度。
最后，我们需要对accuracy.eval()来查看其值，不能直接查看accuracy，因为查看不了。
correct_prediction = tf.equal(tf.argmax(y,1),tf.argmax(y_,1)) accuracy = tf.reduce_mean(tf.cast(correct_prediction,tf.float32)) print(accuracy.eval({x:mnist.test.images,y_:mnist.test.labels}))
3、一些小技巧
- 当查看一个Variable时，通过将其赋予给一个变量，就可以查看里面的值。Variable在训练模型迭代中是持久化的。
y_value = y.eval({x:mnist.test.images,y_:mnist.test.labels})
b_value=b.eval()
如查看预测的y值，需要用eval()来进行查看。由于y的值需要feed，所以y.eval()需要feed参数。
如查看b的值，由于b是Variable，所以，直接另起等于变量即可查看。
上面代码的值可以在Spyder中查看。
reference:
[1] https://blog.csdn.net/cqrtxwd/article/details/79028264
[2] https://www.cnblogs.com/huliangwen/p/7455382.html
[3] 交叉熵：https://blog.csdn.net/tsyccnh/article/details/79163834
[4] 交叉熵：https://blog.csdn.net/mieleizhi0522/article/details/80200126
