CNN

　　其实之前关于卷积整个过程一直是模棱两可，今天完全看着代码，根据自己的逻辑走了一遍，感觉有了更深一层次的理解，也在案例的基础上实现的自己的扩展。总的来说我想模型的正确性与否由三大主要影响因素构成，第一是样本，第二是模型细节，这里指的是卷积过程，节点数如何选择等等，这一块着实是一个难点，百度很久貌似也是根据经验法则。第三则是代价函数的计算公式，因为我使用的是tensorflow框架，梯度下降优化器这一块是框架来为我们实现的，所以就不提了。源代码详见github

 

步骤：

一层卷积：

　　激活函数（卷积）+ 池化

二层卷积：

　　激活函数（卷积）+ 池化

平坦化

　　reshape

全连接层：

　　激活函数（乘加运算）

softmax:

　　sotfmax（激活函数（乘加运算））

梯度下降优化器最小化cost函数

卷积：

conv1 = tf.nn.conv2d(input_tensor,conv_weights,strides=[1,1,1,1],padding='SAME',use_cudnn_on_gpu=None)

"""与tf.layers.conv2d()之间的区别，参数区别就不提了，核心就在于初始的w0和b0，tf.nn.conv2d()可以在一个训练好的模型之上接着训练，而tf.layers.conv2d则必须从头开始训练"""

　　

　　

input_tensor：
指需要做卷积的输入图像，它要求是一个Tensor，具有[batch, in_height, in_width, in_channels]这样的shape，具体含义是[训练时一个batch的图片数量, 图片高度, 图片宽度, 图像通道数]，注意这是一个4维的Tensor，要求类型为float32和float64其中之一

conv_weights：
相当于CNN中的卷积核，它要求是一个Tensor，具有[filter_height, filter_width, in_channels, out_channels]这样的shape，具体含义是[卷积核的高度，卷积核的宽度，图像通道数，卷积核个数]，要求类型与参数input相同，有一个地方需要注意，第三维in_channels，就是参数input的第四维

strides：卷积时在图像每一维的步长，举个栗子[1,1,1,1]

padding：
string类型的量，只能是”SAME”,”VALID”其中之一，这个值决定了不同的卷积方式

use_cudnn_on_gpu：
bool类型，是否使用cudnn加速，默认为true

结果返回一个Tensor，这个输出，就是我们常说的feature map

 

 池化：

tf.nn.max_pool(value, ksize, strides, padding, name=None)

　　

第一个参数value：需要池化的输入，一般池化层接在卷积层后面，所以输入通常是feature map，依然是[batch, height, width, channels]这样的shape

第二个参数ksize：池化窗口的大小，取一个四维向量，一般是[1, height, width, 1]，因为我们不想在batch和channels上做池化，所以这两个维度设为了1

第三个参数strides：和卷积类似，窗口在每一个维度上滑动的步长，一般也是[1, stride,stride, 1]

第四个参数padding：和卷积类似，可以取'VALID' 或者'SAME'

返回一个Tensor，类型不变，shape仍然是[batch, height, width, channels]这种形式

作用：实现降维，非线性，扩大视野

 

softmax：

tf.nn.softmax(logits, axis=None, name=None, dim=None)

// softmax = tf.exp(logits) / tf.reduce_sum(tf.exp(logits), axis)原理

　　

神经网络的原始输出不是一个概率值，实质上只是输入的数值做了复杂的加权和与非线性处理之后的一个值而已，那么如何将这个输出变为概率分布？
这就是Softmax层的作用，假设神经网络的原始输出为y1,y2,….,yn，那么经过Softmax回归处理之后的输出为和为1的概率分布。

 

调参：最好的调参方式就是读案例，就如同看源码学习编程一般。