12-2 Minist 手写字体识别-LeNet-5-函数式模型

【基础要点】

　　1-加载Minist数据，并变形

　　2-数据信息图形化显示

　　3-可视化训练过程

　　4-可视化预测

　　5-误差矩阵显示

【代码实现】

　　1-超参数

 

#输入图像数据信息
IMG_WIDTH = 28
IMG_HEIGHT =28
IMG_CHANNEL = 1

#第一层卷积层参数
CONV_1_DEEP = 32
CONV_1_SIZE = 5
CONV_1_STEP = 1
CONV_1_PADDING = 'same'

#第二层池化层参数
POOL_2_SIZE = 2
POOL_2_STEP = 2

#第三层卷积层参数
CONV_3_DEEP = 64
CONV_3_SIZE = 5
CONV_3_STEP = 1
CONV_3_PADDING = 'same'

#第四层池化参数
POOL_4_SIZE = 2
POOL_4_STEP = 2

#第五层全连接层参数
DENSE_5_NODES = 120

#第六层全连接层参数
OUTPUT_6_NODES = 10

　　2-全部代码

%matplotlib inline
import numpy as np #导入 numpy 
import matplotlib.pyplot as plt #与 matplotlib 库

from keras import utils
from keras.datasets import mnist #导入Minist数据文件
from keras.layers import Input, Conv2D, Activation, MaxPooling2D, Flatten, Dense, Dropout #导入用到的层
from keras.models import Model #导入Model

#from keras.optimizers import SGD #导入SGD 随机梯度下降优化器模块

# 引入Tensorboard，训练可视化用
from keras.callbacks import TensorBoard
from keras.utils import plot_model

#定义超参数
#输入图像数据信息
IMG_WIDTH = 28
IMG_HEIGHT =28
IMG_CHANNEL = 1

#第一层卷积层参数
CONV_1_DEEP = 32
CONV_1_SIZE = 5
CONV_1_STEP = 1
CONV_1_PADDING = 'same'
CONV_1_ACT = 'relu'
 
#第二层池化层参数
POOL_2_SIZE = 5
POOL_2_STEP = 2 

#第三层卷积层参数
CONV_3_DEEP = 64
CONV_3_SIZE = 5
CONV_3_STEP = 1
CONV_3_PADDING = 'same'
CONV_3_ACT = 'relu'

#第四层池化参数
POOL_4_SIZE = 5
POOL_4_STEP = 2

#第五层全连接层参数
DENSE_5_NODES = 120

#第六层全连接层参数
OUTPUT_NODES = 10

#下载训练数据和测试数据，并显示数据格式
def down_and_show_train_and_test_data():
     return mnist.load_data()

#图形化展示数据
def show_img_of_minsit_datas(x,y,width=12,height=6,rows=2,cols=5):
    fig = plt.gcf()
    fig.set_size_inches(width, height) 
    length = len(x)
    if length>rows*cols:
        length = rows*cols       
    for i in range(length):
        ax=plt.subplot(rows,cols,i+1) #绘制子图
        ax.set_title("Label:{}".format(y[i]),fontsize=10)  # 设置子图的标题
        ax.set_xticks([]);ax.set_yticks([])   #不显示x轴和y轴坐标     
        plt.imshow(x[i], cmap='gray', interpolation='none')

#数据格式变换
def reshap_minist_data_to_4(data):
    #注意，这里要做一次形状变换
    return data.reshape(-1, 28, 28,1).astype('float32')  

#创建 LeNet-5 模型
def creat_model():
    inputs = Input((IMG_HEIGHT,IMG_WIDTH,IMG_CHANNEL)) #[*]注意，两个括号
    conv2d_1 = Conv2D(32, (5, 5), padding ='same',activation='relu',name = 'first_layer')(inputs)
    maxpool_2 = MaxPooling2D(pool_size=(2,2), strides=2, padding='same')(conv2d_1)
    conv2d_3 = Conv2D(64, (5, 5), padding = 'same',activation='relu')(maxpool_2)
    maxpool_4 = MaxPooling2D(pool_size=(2,2), strides=2, padding='same')(conv2d_3) 
    flatten = Flatten()(maxpool_4) #[*]注意，两个括号
    dense_5 = Dense(120,activation='relu')(flatten)
    dense_5 = Dropout(0.5)(dense_5)
    outputs = Dense(10,activation='softmax')(dense_5)   
                      
    model = Model(inputs=[inputs], outputs=[outputs])
    
    return model                     

def main():
    (x_train,y_train),(x_test,y_test)=down_and_show_train_and_test_data() #下载数据
    show_img_of_minsit_datas(x_train,y_train) #显示部分测试数据
    #图像数据格式转换
    x_train = reshap_minist_data_to_4(x_train)
    x_test = reshap_minist_data_to_4(x_test) 
    
    #标签数据Durex编码
    nb_classes = 10 #类别种类
    y_train = utils.to_categorical(y_train, nb_classes)
    y_test = utils.to_categorical(y_test, nb_classes) #对训练标签数据进行独热编码
    
    #显示输入输出数据形状
    print("输入输出数据形状:")
    print("x_train:",x_train.shape)
    print("x_test:",x_test.shape)
    print("y_train:",y_train.shape)
    print("y_test:",y_test.shape)
    
    #创建模型
    model = creat_model() 
    
    #编译模型
    model.compile(loss='categorical_crossentropy', optimizer="sgd")#[*]adam损失函数下降很慢，使用sgd后损失函数快速下降
    #model.compile(optimizer=Adam(), loss='categorical_crossentropy', metrics=['accuracy'])
    
    #设置TensorBoard回调函数
    tb = TensorBoard(log_dir='E:\log',  # log 目录
                     histogram_freq=1,  # 按照何等频率（epoch）来计算直方图，0为不计算
                     batch_size=32,     # 用多大量的数据计算直方图
                     write_graph=True,  # 是否存储网络结构图
                     write_grads=False, # 是否可视化梯度直方图
                     write_images=False,# 是否可视化参数
                     embeddings_freq=0, 
                     embeddings_layer_names=None, 
                     embeddings_metadata=None)
    callbacks = [tb]
    
    #训练模型
    model.fit(x_train,y_train,epochs=2,batch_size=128,
              verbose=1,validation_data=(x_test,y_test), #verbose：日志显示，0为不在标准输出流输出日志信息，1为输出进度条记录，2为每个epoch输出一行记录
              callbacks=None) #这里没使用回调函数，报数据类型错误
    #给模型打分，输出训练好的模型在测试集上的表现
    score_history = model.evaluate(x_test, y_test, batch_size=128)
    print('Test accuracy:', score_history)

#测试代码
if __name__ == '__main__':
    main()

　　3-可视化模型结构：

　　　　Keras的utils里面专门有一个plot_model()函数是用来可视化网络结构的，为了保证格式美观，我们在定义模型的时候给每个层都加了一个名字。

　　3-可视化训练过程

　　　　1-在model的fit函数中加入TensorBoard的回调函数即可，训练数据就会自动保存在log_dir指定的目录内

　　　　2-打开相同环境下的命令窗口，执行命令 tensorboard –logdir= log_dir （参数保存的目录）

　　　　3-根据命令行的提示，在浏览器内输入网址，例如我的网址为：http://microwin10-1735:6006

　　　　TensorBoard会记录loss及model.metrics里面的值，本例中即acc,loss,val_acc,val_loss四个值，每个epoch更新一次。

　　　　除了这些SCALARS，还会记录网络的GRAPH，直接可视化网络结构，但是相比用原生TensorFlow生成的图而言，相差还是比较大的，比较难看，所以不推荐在Keras中使用TensorBoard查看网络结构。　

【遇到的问题】

1-报错-数据格式不对，解决办法，对数据变形处理

2-损失过大，解决办法，优化方法为sgd