MNIST手写数字识别 Tensorflow实现
def conv2d(x, W): return tf.nn.conv2d(x, W, strides=[1, 1, 1, 1], padding='SAME')
1. strides在官方定义中是一个一维具有四个元素的张量，其规定前后必须为1，所以我们可以改的是中间两个数，中间两个数分别代表了水平滑动和垂直滑动步长值。
在卷积核移动逐渐扫描整体图时候，因为步长的设置问题，可能导致剩下未扫描的空间不足以提供给卷积核的，大小扫描 比如有图大小为5*5,卷积核为2*2,步长为2,卷积核扫描了两次后，剩下一个元素，不够卷积核扫描了，这个时候就在后面补零，补完后满足卷积核的扫描，这种方式就是same。如果说把刚才不足以扫描的元素位置抛弃掉，就是valid方式。
如果padding = ‘VALID’ ，卷积后的特征图长和宽计算公式如下：
new_height = new_width = (W – F + 1) / S （结果向上取整）
如果padding = ‘SAME’
new_height = new_width = W / S （结果向上取整）
2 tf.nn.conv2d 和 tf.layers.conv2d 的区别
tf.layers.conv2d(inputs, filters, kernel_size, strides=(1,1),
padding='valid', data_format='channels_last',
dilation_rate=(1,1), activation=None,
use_bias=True, kernel_initializer=None,
bias_initializer=init_ops.zeros_initializer(),
kernel_regularizer=None,
bias_regularizer=None,
activity_regularizer=None, trainable=True,
name=None, reuse=None)
padding='valid', data_format='channels_last',
dilation_rate=(1,1), activation=None,
use_bias=True, kernel_initializer=None,
bias_initializer=init_ops.zeros_initializer(),
kernel_regularizer=None,
bias_regularizer=None,
activity_regularizer=None, trainable=True,
name=None, reuse=None)
tf.nn.conv2d(input, filter, strides, padding, use_cudnn_on_gpu=None, data_format=None, name=None)
2D 卷积层的函数接口
这个层创建了一个卷积核，将输入进行卷积来输出一个 tensor。如果 use_bias 是 True（且提供了 bias_initializer），则一个偏差向量会被加到输出中。最后，如果 activation 不是 None，激活函数也会被应用到输出中。
这个层创建了一个卷积核，将输入进行卷积来输出一个 tensor。如果 use_bias 是 True（且提供了 bias_initializer），则一个偏差向量会被加到输出中。最后，如果 activation 不是 None，激活函数也会被应用到输出中。
参数：
inputs：Tensor 输入
filters：整数，表示输出空间的维数（即卷积过滤器的数量）
kernel_size：一个整数，或者包含了两个整数的元组/队列，表示卷积窗的高和宽。如果是一个整数，则宽高相等。
strides：一个整数，或者包含了两个整数的元组/队列，表示卷积的纵向和横向的步长。如果是一个整数，则横纵步长相等。另外， strides 不等于1 和 dilation_rate 不等于1 这两种情况不能同时存在。
padding："valid" 或者 "same"（不区分大小写）。"valid" 表示不够卷积核大小的块就丢弃，"same"表示不够卷积核大小的块就补0。
"valid" 的输出形状为
"same" 的输出形状为
其中，L 为输入的 size（高或宽），F为 filter 的 size，S 为 strides 的大小，ceil()为向上取整。
data_format：channels_last 或者 channels_first，表示输入维度的排序。
dilation_rate：一个整数，或者包含了两个整数的元组/队列，表示使用扩张卷积时的扩张率。如果是一个整数，则所有方向的扩张率相等。另外， strides 不等于1 和 dilation_rate 不等于1 这两种情况不能同时存在。
activation：激活函数。如果是None则为线性函数。
use_bias：Boolean类型，表示是否使用偏差向量。
kernel_initializer：卷积核的初始化。
bias_initializer：偏差向量的初始化。如果是None，则使用默认的初始值。
kernel_regularizer：卷积核的正则项
bias_regularizer：偏差向量的正则项
activity_regularizer：输出的正则函数
kernel_constraint：映射函数，当核被Optimizer更新后应用到核上。Optimizer 用来实现对权重矩阵的范数约束或者值约束。映射函数必须将未被影射的变量作为输入，且一定输出映射后的变量（有相同的大小）。做异步的分布式训练时，使用约束可能是不安全的。
bias_constraint：映射函数，当偏差向量被Optimizer更新后应用到偏差向量上。
trainable：Boolean类型。
name：字符串，层的名字。
reuse：Boolean类型，表示是否可以重复使用具有相同名字的前一层的权重。
##返回值
输出 Tensor
##异常抛出
ValueError：if eager execution is enabled.
对于卷积来说，作用是一样的。tf.layers.conv2d 使用tf.nn.convolution作为后端。
一个参数要注意一下：
filter: 是一个４维张量，其type必须和输入一样，
[filter_height, filter_width, in_channels, out_channels]
一个参数要注意一下：
filter: 是一个４维张量，其type必须和输入一样，
[filter_height, filter_width, in_channels, out_channels]
filters: 一个整数，输出空间的维度，也就是卷积核的数量。
tf.layers.conv2d参数丰富，一般用于从头训练一个模型。
tf.nn.conv2d，一般在下载预训练好的模型时使用。
3. tf.placeholder(dtype, shape=None, name=None)
TensorFlow中的占位符，用于传入外部数据。
参数：
dtype:数据类型。
shape:数据的维度。默认为None，表示没有限制
name:名称
返回类型：Tensor
TensorFlow中加载图片的维度为[batch, height, width, channels]
from tensorflow.examples.tutorials.mnist import input_data import tensorflow as tf #加载数据集 mnist = input_data.read_data_sets('MNIST_data', one_hot=True) #以交互式方式启动session #如果不使用交互式session，则在启动session前必须 # 构建整个计算图，才能启动该计算图 sess = tf.InteractiveSession() """构建计算图""" #通过占位符来为输入图像和目标输出类别创建节点 #shape参数是可选的，有了它tensorflow可以自动捕获维度不一致导致的错误 x = tf.placeholder("float", shape=[None, 784]) #原始输入 y_ = tf.placeholder("float", shape=[None, 10]) #目标值 #为了不在建立模型的时候反复做初始化操作， # 我们定义两个函数用于初始化 def weight_variable(shape): #截尾正态分布,stddev是正态分布的标准偏差 initial = tf.truncated_normal(shape=shape, stddev=0.1) return tf.Variable(initial) def bias_variable(shape): initial = tf.constant(0.1, shape=shape) return tf.Variable(initial) #卷积核池化,步长为1,0边距 def conv2d(x, W): return tf.nn.conv2d(x, W, strides=[1, 1, 1, 1], padding='SAME') def max_pool_2x2(x): return tf.nn.max_pool(x, ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1], padding='SAME') """第一层卷积""" #由一个卷积和一个最大池化组成。滤波器5x5中算出32个特征，是因为使用32个滤波器进行卷积 #卷积的权重张量形状是[5, 5, 1, 32],1是输入通道的个数，32是输出通道个数 W_conv1 = weight_variable([5, 5, 1, 32]) #每一个输出通道都有一个偏置量 b_conv1 = bias_variable([32]) #位了使用卷积，必须将输入转换成4维向量，2、3维表示图片的宽、高 #最后一维表示图片的颜色通道（因为是灰度图像所以通道数维1，RGB图像通道数为3） x_image = tf.reshape(x, [-1, 28, 28, 1]) #第一层的卷积结果,使用Relu作为激活函数 h_conv1 = tf.nn.relu(conv2d(x_image, W_conv1)) #第一层卷积后的池化结果 h_pool1 = max_pool_2x2(h_conv1) """第二层卷积""" W_conv2 = weight_variable([5, 5, 32, 64]) b_conv2 = bias_variable([64]) h_conv2 = tf.nn.relu(conv2d(h_pool1, W_conv2) + b_conv2) h_pool2 = max_pool_2x2(h_conv2) """全连接层""" #图片尺寸减小到7*7，加入一个有1024个神经元的全连接层 W_fc1 = weight_variable([7*7*64, 1024]) b_fc1 = bias_variable([1024]) #将最后的池化层输出张量reshape成一维向量 h_pool2_flat = tf.reshape(h_pool2, [-1, 7*7*64]) #全连接层的输出 h_fc1 = tf.nn.relu(tf.matmul(h_pool2_flat, W_fc1) + b_fc1) """使用Dropout减少过拟合""" #使用placeholder占位符来表示神经元的输出在dropout中保持不变的概率 #在训练的过程中启用dropout，在测试过程中关闭dropout keep_prob = tf.placeholder("float") h_fc1_drop = tf.nn.dropout(h_fc1, keep_prob) """输出层""" W_fc2 = weight_variable([1024, 10]) b_fc2 = bias_variable([10]) #模型预测输出 y_conv = tf.nn.softmax(tf.matmul(h_fc1_drop, W_fc2) + b_fc2) #交叉熵损失 cross_entropy = -tf.reduce_sum(y_ * tf.log(y_conv)) #模型训练,使用AdamOptimizer来做梯度最速下降 train_step = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy) #正确预测,得到True或False的List correct_prediction = tf.equal(tf.argmax(y_, 1), tf.argmax(y_conv, 1)) #将布尔值转化成浮点数，取平均值作为精确度 accuracy = tf.reduce_mean(tf.cast(correct_prediction, "float")) #在session中先初始化变量才能在session中调用 sess.run(tf.initialize_all_variables()) #迭代优化模型 for i in range(20000): #每次取50个样本进行训练 batch = mnist.train.next_batch(50) if i%100 == 0: train_accuracy = accuracy.eval(feed_dict={ x: batch[0], y_:batch[1], keep_prob:1.0}) #模型中间不使用dropout print("step %d, training accuracy %g" % (i, train_accuracy)) train_step.run(feed_dict={x:batch[0], y_:batch[1], keep_prob:0.5}) print("test accuracy %g" % accuracy.eval(feed_dict={ x:mnist.test.images, y_:mnist.test.labels, keep_prob:1.0}))
1、启动session
（1）交互方式启动session
sess = tf.InteractiveSession()
（2）一般方式启动session
sess = tf.Session()
ps: 使用交互方式不用提前构建计算图，而使用一般方式必须提前构建好计算图才能启动session
2、权重和偏置初始化
权重初始化的原则：应该加入少量的噪声来打破对称性并且要避免0梯度（初始化为0）
权重初始化一般选择均匀分布或是正态分布
定义权重初始化方法：
def weight_variable(shape):
#截尾正态分布,stddev是正态分布的标准偏差
initial = tf.truncated_normal(shape=shape, stddev=0.1)
return tf.Variable(initial)
定义偏置初始化方法：
def bias_variable(shape):
initial = tf.constant(0.1, shape=shape)
return tf.Variable(initial)
3. Tensorflow 将list转换为Tensor
两种方法：
tf.convert_to_tensor([np.nan, 1, 1, 64])
tf.TensorShape([None, 1, 1, 64])
这两种方法我都试过，第二种好用。
