caffe操作技巧

查看网络结构:

(1)利用caffe自带的Python,可以将*.prototxt保存为一张图片,

sudo  python python/draw_net.py  *.prototxt  *.png  --rankdir=BT(或者,TB,LR,RL)

(2)利用Netscope,可以生成网络结构,并带有详细信息,

http://ethereon.github.io/netscope/quickstart.html

http://ethereon.github.io/netscope/#/editor

 

 

随机初始化训练:

./build/tools/caffe train --solver=models/bvlc_reference_caffenet/solver.prototxt --gpu=-0,1

 

微调:

./build/tools/caffe train --solver=models/bvlc_reference_caffenet/solver.prototxt --weights=models/bvlc_reference_caffenet/caffenet_train_iter_10000.caffemodel--gpu=-0,1

 

从中断处继续训练:

./build/tools/caffe train --solver=models/bvlc_reference_caffenet/solver.prototxt --snapshot=models/bvlc_reference_caffenet/caffenet_train_iter_10000.solverstate

 

 

统计在验证集(validation set)上的得分:

./build/tools/caffe test --model= models/bvlc_reference_caffenet/caffenet_train_iter_10000.prototxt--weights= models/bvlc_reference_caffenet/caffenet_train_iter_10000.caffemodel--gpu=0 --iterations=10000

 

统计训练时间:

# 在 CPU上, 10000iterations训练 caffenet的时间
./build/tools/caffe time --model= models/bvlc_reference_caffenet/caffenet_train_test.prototxt--iterations=10000
# 在 GPU上,默认的 50 iterations训练 caffenet的时间
./build/tools/caffe time --model= models/bvlc_reference_caffenet/caffenet_train_test.prototxt--gpu=0
# 在第一块 GPU上, 10000 iterations训练已给定权值的网络结构的时间
./build/tools/caffe time --model= models/bvlc_reference_caffenet/caffenet_train_test.prototxt--weights= models/bvlc_reference_caffenet/caffenet_train_iter_10000.caffemodel--gpu=0 --iterations=10000

 

查询GPU显卡参数信息:

# 查询第一块 GPU

./build/tools/caffe device_query --gpu=0

 

输出训练log日志到txt:

(1)GLOG_logtostderr=0 GLOG_log_dir=./Log/ ./build/tools /caffe  train  --solver=./deepid_solver.prototxt

(2) ./build/tools/caffe train --solver=./deepid_solver.prototxt  >&log.txt&

 

解析日志:

会在当前文件夹下生成一个.train文件和一个.test文件

./TOOLS/extra/parse_log.sh  *.log

 

生成曲线图:

./tools/extra/plot_training_log.py.example  0  *.png *.log 

Notes:

   1. Supporting multiple logs.

   2. Log file name must end with the lower-cased ".log".

Supported chart types:

   0: Test accuracy  vs. Iters

   1: Test accuracy  vs. Seconds

   2: Test loss  vs. Iters

   3: Test loss  vs. Seconds

   4: Train learning rate  vs. Iters

   5: Train learning rate  vs.Seconds

   6: Train loss  vs. Iters

   7: Train loss  vs. Seconds

 

计算训练数据均值:

# sudo build/tools/compute_image_mean  examples/mnist/mnist_train_lmdbexamples/mnist/mean.binaryproto

 

生成训练数据的LMDB文件:

convert_imageset  [FLAGS]  ROOTFOLDER/  LISTFILE DB_NAME

FLAGS:

--gray: 是否以灰度图的方式打开图片。程序调用OpenCV库中的imread()函数来打开图片,默认为false

--shuffle: 是否随机打乱图片顺序。默认为false

--backend:需要转换成的db文件格式,可选为leveldb或lmdb,默认为lmdb

--resize_width/resize_height: 改变图片的大小。在运行中,要求所有图片的尺寸一致,因此需要改变图片大小。程序调用opencv库的resize()函数来对图片放大缩小,默认为0,不改变

--check_size: 检查所有的数据是否有相同的尺寸。默认为false,不检查

--encoded: 是否将原图片编码放入最终的数据中,默认为false

--encode_type: 与前一个参数对应,将图片编码为哪一个格式:‘png','jpg'......

 

ROOTFOLDER:

图片的绝对路径

LISTFILE:

图片txt文件,格式为.txt,内容为,图片  标签

DB_NAME:

保存的文件名

 

build/tools/convert_imageset --shuffle --resize_height=256 --resize_width=256 /home/xxx/caffe/examples/images/ ./train.txt  ./img_train_lmdb

 

 

matlab写caffe程序注意事项:

由于matlab的长宽和c++中opencv的长宽正好相反,同时matlab中是rgb通道,opencv中是bgr通道,因此,程序需要做这么2个变换。这里给出2种处理方式,

(1)直接调用caffe接口,

im_data =caffe.io.load_image('./examples/images/cat.jpg');

(2)用matlab函数自己实现,

im_data = imread('./examples/images/cat.jpg');% read image
im_data = im_data(:, :, [3, 2, 1]); % 从 RGB转换为 BGR
im_data = permute(im_data, [2, 1, 3]); % 改变 width与 height位置
im_data = single(im_data); % 转换为单精度

 

caffe模型转tensorflow工具:

https://github.com/ethereon/caffe-tensorflow

 

手动标注图像,生成VOC支持的XML文件工具:

https://github.com/tzutalin/labelImg

 

 

matlab将caffe模型weights中不需要的部分去掉:

去掉模型的最后一个全连接层参数,减少模型的大小,适用于只提取特征而不进行分类的开集合场景应用。

net = caffe.NET('XX_deploy.prototxt', 'XX.caffemodel', 'test');

net.save('XX_remove_the_last_fc.caffemodel');

posted @ 2017-08-17 21:49  女王公园的八神  阅读(245)  评论(0编辑  收藏  举报