[caffe笔记]：模型构成、数据转换和常用命令行接口
一.caffe模型基本组成：
预处理图像的leveldb/lmdb构建
输入：一批图像和label （2和3）
输出：leveldb/lmdb （4）
指令里包含如下信息：
- conver_imageset （构建leveldb的可运行程序）
- Images/ （此目录放处理的jpg或者其他格式的图像)
- label.txt (图像文件名及其label信息)
- 生成的leveldb文件夹的名字
-
例如：
- 一般分类问题数据转换可用caffe自带工具 ./build/tools/convert_imageset.bin, 因为我训练用的是Siamese网络，输入的是数据对，所以转换数据文件参考网上http://blog.csdn.net/sheng_ai/article/details/48174729 改写，代码请见http://github.com/CharleneZhao/convert_siamese_imageset
CNN网络配置文件
- train_test.prototxt 包含训练和测试网络配置的文件
- solver.prototxt 包含全局参数配置，求解的配置的文件
二、一些常用且基础的接口（cmdcaffe）
注：在使用cmdcaffe时，需要默认切换到caffe_root文件夹下
1.训练模型，以mnist为例子
./build/tools/caffe train --solver=examples/mnist/lenet_solver.prototxt
（或者可以写脚本注明更多的参数设置：比如load已经训练好的模型权重、规定gpu号等，这是命令行来训练的形式，也可以采用Python接口或matlab接口）
2.观察各个阶段的运行时间可以使用
./build/tools/caffe time --model=models/bvlc_reference_caffenet/train_val.prototxt
3.使用已有模型提取特征
./build/tools/extract_features.bin models/bvlc_reference_caffenet/bvlc_reference_caffenet.caffemodel
examples/_temp/imagenet_val.prototxt conv5 examples/_temp/features 10
conv5表示提取第五个卷积层的特征，examples/_temp/features表示结果存放的目录（目录需提前构建好），10表示特征提取数据批量数目
4.对已有模型进行find-tuning，比如我们现在有一个1000类的分类模型，但目前我们的需求仅是20类，此时我们不需要重新训练一个模型，只需要将最后一层换成20类的softmax层，然后使用已有数据对原模型进行fine-tuning即可。
在很多时候，使用Caffe框架学习深度学习模型时，从ImageNet或者其他大型数据集从头开始训练获得一个fine-tuing合适的模型难度太大，这时候最好的情况，就是在已经训练好的模型上面来进行fine-tuning，通过这些过程可以加深自己对深度学习，以及对caffe使用的了解和熟悉，以方便自己在后续提出自己的模型，自己进行模型训练和fine-tuning的过程。
已经训练好的caffe模型可以在git的caffe项目中下载，比较经典的模型有：AlexNet.caffemodel , LeNet.caffemodel , RCnn.caffemodel，其他的大家可以在caffe的git官网上面下载。
使用自己的数据集对已经训练好的模型进行fine-tuning的操作（使用cmdcaffe接口来进行）：
./build/tools/caffe train \
-solver models/finetune_flickr_style/solver.prototxt \
-weights models/bvlc_reference_caffenet/bvlc_reference_caffenet.caffemodel \
-gpu 0 2>&1 | tee log.txt
（此处相当于第一条训练的补充版，当然也可以写成脚本来实现，更为方便）
5.用draw_net.py画网络模型的步骤
$make pycaffe $pip install pydot $sudo apt-get install graphviz $cd caffe
（e.g.）$ ./python/draw_net.py ./examples/siamese/mnist_siamese.prototxt
./examples/siamese/mnist_siamese.png
第一个参数为模型文件，第二个参数为所绘模型图的保存地址
