Caffe实战（十二）：模型分类测试以及特征图和参数可视化示例（python）
训练好的模型需要进行测试分类效果；查看卷积层输出的特征图以及训练的参数特征，不仅可以更直观的了解各层训练效果，还能够加深理解训练过程。下面以测试cifar10 模型为例，展示测试过程，各层特征图以及参数的可视化。
# _*_ coding : UTF-8 _8_ # 参考：Caffe Cifar10模型测试及可视化 # https://www.jianshu.com/p/54bf15299d5a # 加载必要的库 import numpy as np import matplotlib.pyplot as plt # matplotlib inline # 在notebook里面显示图像 import sys, os, caffe # 设置当前目录，判断模型是否训练好 caffe_root = 'E:\\Learning\\caffe\\Microsoft\\caffe\\' os.chdir(caffe_root) if not os.path.isfile(caffe_root + 'examples\\cifar10\\cifar10_quick_iter_4000.caffemodel.h5'): print("caffemodel is not exist...") # 利用提前训练好的模型，设置测试网络 caffe.set_mode_gpu() net_file = caffe_root + 'examples\\cifar10\\cifar10_quick.prototxt' caffe_model = caffe_root + 'examples\\cifar10\\cifar10_quick_iter_4000.caffemodel.h5' net = caffe.Net(net_file, caffe_model, caffe.TEST) print net.blobs['data'].data.shape print type(net.blobs['data']) # 键data所对应的值是Blob，不是BlobVector,注意和params区分 print type(net.blobs['data'].data) # Blob.data得到的是numpy.ndarray # 加载测试图片，并显示 img = caffe.io.load_image('examples\\images\\cat.jpg') print img.shape plt.imshow(img) plt.axis('off') # 不显示坐标轴 plt.show() # 注意添加该函数才会显示图片，仅仅使用plt.imshow(img)不会显示 # 编写一个函数，将二进制的均值转换为Python的均值 def convert_mean(binMean, npyMean): blob = caffe.proto.caffe_pb2.BlobProto() # 声明一个blob bin_mean = open(binMean,'rb').read() # 打开二进制均值文件 blob.ParseFromString(bin_mean) # 将二进制均值文件读入blob arr = np.array(caffe.io.blobproto_to_array(blob)) # 将blob转换为numpy array npy_mean = arr[0] print arr.shape # arr是四维array，第一维表示第一图，其实就是唯一一张均值图 np.save(npyMean, npy_mean) binMean = caffe_root + 'data\\cifar10\\mean.binaryproto' npyMean = caffe_root + 'data\\cifar10\\mean.npy' convert_mean(binMean, npyMean) # 定义转换，及预处理函数 # caffe中用的图像是BGR空间，但是matplotlib用的是RGB空间 # 再比如caffe的数值空间是[0,255]但是matplotlib的空间是[0,1]。这些都需要转换 # 预处理函数应该自动resize了测试图片的大小 mu = np.load(npyMean) # 载入均值文件 mu = mu.mean(1).mean(1) # 计算像素的均值 transformer = caffe.io.Transformer({'data':net.blobs['data'].data.shape}) transformer.set_transpose('data',(2,0,1)) # [H,W,C]-->[C,H,W] transformer.set_mean('data',mu) # 减去均值 transformer.set_raw_scale('data',255) # 将0-1空间转换为0-255空间 transformer.set_channel_swap('data',(2,1,0)) # RGB-->BGR net.blobs['data'].data[...] = transformer.preprocess('data',img) inputData = net.blobs['data'].data # 显示减去均值前后的数据 plt.figure() plt.subplot(1,2,1), plt.title("origin") plt.imshow(img) plt.axis('off') plt.subplot(1,2,2), plt.title("subtract mean") img_sub_mean = transformer.deprocess('data', inputData[0]) plt.imshow(transformer.deprocess('data', inputData[0])) plt.axis('off') plt.show() # 运行测试模型，并显示各层数据信息 net.forward() print [(k, v.data.shape) for k, v in net.blobs.items()] # 显示各层的参数信息，值显示weight print [(k, v[0].data.shape) for k, v in net.params.items()] # 编写一个函数，用于显示各层数据 # data：三维（num,h,w) # padsize: （h,w)之间填充个数 # padval: 填充值 def show_data(data, padsize=1, padval=0): data -= data.min() data /= data.max() # force the number of filters to be square n = int(np.ceil(np.sqrt(data.shape[0]))) # figure上行列显示map个数 padding = ((0, n**2 - data.shape[0]), (0,padsize), (0,padsize)) + ((0,0),) * (data.ndim - 3) # 每个维度填充参数，注意针对多出的map进行填充；每个map之间填充1 data = np.pad(data, padding, mode='constant', constant_values=(padval,padval)) # 对每个维度进行填充 # title the filters into an image data = data.reshape((n,n) + data.shape[1:]).transpose((0,2,1,3) + tuple(range(4,data.ndim+1))) # 四维：行map个数 map行 列map个数 map列 data = data.reshape((n * data.shape[1], n * data.shape[3]) + data.shape[4:]) # 四维-->二维 map图在二维上显示 plt.figure() plt.imshow(data,cmap='gray') # 映射灰度空间 plt.axis('off') plt.show() plt.rcParams['figure.figsize'] = (8, 8) # 显示图像的最大范围 plt.rcParams['image.interpolation'] = 'nearest' # 插值方式 plt.rcParams['image.cmap'] = 'gray' # 灰度空间 # 显示第一个卷积层的输出数据和权值（filter) show_data(net.blobs['conv1'].data[0]) # net.blobs['conv1'].data其实就是经过conv1卷积后的feature maps print net.blobs['conv1'].data.shape show_data(net.params['conv1'][0].data.reshape(32*3,5,5)) print net.params['conv1'][0].data.shape # 显示第一次Pooling后的输出数据 show_data(net.blobs['pool1'].data[0]) print net.blobs['pool1'].data.shape # 显示第二次卷积后的输出数据以及相应的权值（filter) show_data(net.blobs['conv2'].data[0], padval=0.5) print net.blobs['conv2'].data.shape show_data(net.params['conv2'][0].data.reshape(32**2,5,5)) print net.params['conv2'][0].data.shape # 显示第三次卷积后的输出数据以及相应的权值（filter)，取前1024个进行显示 show_data(net.blobs['conv3'].data[0], padval=0.5) print net.blobs['conv3'].data.shape show_data(net.params['conv3'][0].data.reshape(64*32,5,5)[:1024]) print net.params['conv3'][0].data.shape # 显示第三次Pooling后的输出数据 show_data(net.blobs['pool3'].data[0],padval=0.2) print net.blobs['pool3'].data.shape # 最后一层输出的是测试图片属于某个类的概率 feat = net.blobs['prob'].data[0] print feat plt.plot(feat.flat) plt.show()
