caffe cifar10试跑问题总结

caffe cifar10试跑问题总结

[daniel]

• 写了一个脚本可以直接用来添加环境变量：/Users/songdanzju/daniel_script/export_for_ananconda.sh

#! /bin/bash

export PATH=~/ananconda/bin:$PATH 

export DYLD_FALLBACK_LIBRARY_PATH=~/anaconda:~/anaconda/lib:/usr/local/lib:/usr/lib 

 

 

• 准备数据库

cd ＄CAFFE_ROOT   #切换目录到自己的caffe-master的安装目录下

sudo ./data/cifar10/get_cifar10.sh

sudo ./examples/cifar10/create_cifar10.sh

> 执行的时候路径有问题，所以把get_cifar10.sh和create_cifar10.sh 拷贝到caffe文件夹下，并在.sh文件中添加了环境变量, 通过在脚本中添加了语句：sh /Users/songdanzju/daniel_script/export_for_ananconda.sh 实现，再cd ＄CAFFE_ROOT，执行sudo ./get_cifar10.sh和sudo ./create_cifar10.sh ，

 

运行之后将会在examples/cifar10中出现数据库文件./cifar10-leveldb 和数据库图像均值二进制文 件./mean.binaryproto 

> 由于我电脑上同时安装了python2.7和python3.5，所以在上一步会报错，所以在caffe的Makefile.config文件中关闭了leveldb，然后重新编译了caffe，解决了问题。这一步测试出现的是两个分开的数据库文件：测试和训练，

查看~/caffe/examples/cifar10/中出现：

cifar10_test_lmdb

cifar10_train_lmdb

mean.binaryproto 

 

 

> 环境变量问题：caffe在make all之前要添加环境变量，另外试跑cifar10时是在sudo下执行的脚本

>由于sudo执行的~/caffe/ ,所以要在环境变量需要在.sh文件中单独添加：sh daniel_script/export_for_ananconda.sh 

 

• 模型说明

该 CNN 由卷积层，POOLing 层，非线性变换层，在顶端的局部对比归一化线性分类器组成。 该模型的定义在 CAFFE_ROOT/examples/cifar10/cifar10_quick_train.prototxt 中， 可以进行修改。其实后缀为 prototxt 很多都是用来修改配置的 。

> 由于编译Caffe的时候没有用GPU, 所以做训练的时候，训练和测试的脚本中的solver_mode要修改为CPU

即cifar10_quick_solver.prototxt和cifar10_quick_solver_lr1.prototxt文件的最后

 

• 训练和测试

训练这个模型非常简单，当我们写好参数设置的文件 cifar10_quick_solver.prototxt 和定义的 文件 cifar10_quick_train.prototxt 和 cifar10_quick_test.prototxt 后，运行 train_quick.sh 或者在 终端输入下面的命令:cd $CAFFE_ROOT/examples/cifar10
./train_quick.sh
即可，train_quick.sh 是一个简单的脚本，会把执行的信息显示出来，培训的工具是 train_net.bin,cifar10_quick_solver.prototxt 作为参数。

> 同样是路径问题，所以拷贝了train_quick.sh到caffe文件夹下，并执行脚本添加环境变量：/Users/songdanzju/daniel_script/export_for_ananconda.sh。

 

 

**** 读书笔记 2 用一个预训练模型提取特征 

> 这一篇比较详细，参考[http://blog.csdn.net/u013634684/article/details/50143843]，文章中直接写了脚本执行这一步，可以参考，我仿照他的脚本写了~/daniel_script/extract_features.sh，还未完成。

 

> 特征提取文件：build/tools/extract_features.bin

 

 

 

2.1 制作一个数据库先做一个临时文件夹存放东西。mkdir examples/_temp 

find `pwd`/examples/images -type f -exec echo {} \; > examples/_temp/temp.txt
我们将使用 imagedatalayer 预计标签之后的每一个文件名，所以让我们添加一个 0 到每一行 的末尾sed "s/$/ 0/" examples/_temp/temp.txt > examples/_temp/file_list.txt 这样，我们将得到两个文件 temp.txt 和 file_list.txt。 

 

2.2.定义特征提取网络结构 在实践中，从一个数据集中减去均值图像对于提高分类准确性很重要，因此从 ILSVRC dataset 中下载均值图像数据库 

data/ilsvrc12/get_ilsvrc_aux.sh
我们将使用其中的 data/ilsvrc12/imagenet_mean.binaryproto 去定义网络结构。 将定义结构的文件 cope 到我们的临时文件夹。 

cp examples/feature_extraction/imagenet_val.prototxt examples/_temp 然后，我们进入 imagenet_val.prototxt 更改路径。更改其中$CAFFE_DIR 的地方 下图是我做的改动。

 

  transform_param {

    mirror: false

    crop_size: 227

    mean_file: "/Users/songdanzju/caffe/data/ilsvrc12/imagenet_mean.binaryproto"

  }

  image_data_param {

    source: "/Users/songdanzju/caffe/examples/_temp/file_list.txt"

    batch_size: 50

    new_height: 256

    new_width: 256

  }

 

 2.3.提取特征

执行指令：（这是一条指令）

build/tools/extract_features.bin examples/imagenet/caffe_reference_imagenet_model examples/_temp/imagenet_val.prototxt fc7 examples/_temp/features 10 lmdb 

> 执行的时候出错：dyld: Library not loaded … Reason: Image not loaded，环境变量问题，export DYLD_FALLBACK_LIBRARY_PATH=~/anaconda:~/anaconda/lib:/usr/local/lib:/usr/lib  ，解决。[http://stackoverflow.com/questions/17703510/dyld-library-not-loaded-reason-image-not-loaded]

> 关于permission denied 的问题：[http://www.aichengxu.com/view/2488942], 权限问题：chmod 777 filename（修改为最高权限），ls -l filename查看文件权限，或者sudo su进入root。

> 问题：examples/imagenet/中缺少预训练模型（也就是已经训练好的模型）caffe_reference_imagenet_model ，下载位置：[http://dl.caffe.berkeleyvision.org/], copy到examples/imagenet/目录下

 

其中 fc7 是最高层的特征，我们也可以使用其他层提取，像 conv5 或 pool3 最后的参数是数据的批次特征保存在 LevelDB examples/_temp/features ，可以运用到其他代码了。 这里可以发现，特征文件中 5 个文件和 cifar10 中的 leveldb 是相似的。 _temp 下 features

 

 

Cifar10 下特征数据库 

 

因此，这是我们训练时组建模型时必要的文件。  

> 我的examples/_temp/features/下是两个文件：data.mdb lock.mdb，我的examples/cifar10/cifar10_train_lmdb/ 下两个文件：data.mdb lock.mdb

> 在这个过程中如果遇到如下错误：

 

表示参数不够，检查参数个数是否对。

其中上面的第5个参数，表示提取特征数据的batch的数目，解释下，网络中我们的batch_size,表示一次提取特征的图片数，而batch就是总的图片数除以batch_size取整即可。

即提取的特征是batch_size的整数倍，如果图片数不能整除batch_size网络会自动从开始的图片中自动补入。

 

 

 

**** 学习笔记 3 用自己的数据训练和测试“CaffeNet” 

参考一篇很详细的教程：caffe学习笔记6--训练自己的数据集（带脚本），这里没有详细写自己的过程

http://www.voidcn.com/blog/thystar/article/p-5782103.html

 

> 制作自己的数据集：参考资源：

http://blog.csdn.net/yhl_leo/article/details/50801226

http://blog.csdn.net/deeplearninglc007/article/details/40086503

 

本学习笔记有点脱离了原文，原文是用 ImageNet1000 类的数据库，而因为电脑内存不 足，只能自己模仿做一个小的数据库进行下去。 

本来教程是假设已经下载了 ImageNet 训练数据和验证数据(非常大)，并以下面的格式 存储在磁盘: 

/path/to/imagenet/train/n01440764/n01440764_10026.JPEG /path/to/imagenet/val/ILSVRC2012_val_00000001.JPEG 

 

里面是各种的分类图。

  因为实在太大，所以我们改为模仿搭建自己的数据库。

在 data 中新建文件夹 myself

 

> 我利用整理好的trainset（共400张，里面可以有不同categroy的文件夹），valset（247张），testset，执行~/Desktop/test/build_train_txt, ~/Desktop/test/build_val_txt, ~/Desktop/test/build_test_txt, 制作图片路径与对应标签文件：train_txt, val_txt, test_txt

 

我的数据集路径：

训练样本存放路径

trainset: /Users/songdanzju/caffe/data/myself/train/trainset

train.txt: /Users/songdanzju/caffe/data/myself/train/train.txt

交叉验证样本存放路径

valset： /Users/songdanzju/caffe/data/myself/train/valset

val.txt： /Users/songdanzju/caffe/data/myself/train/val.txt

测试样本存放路径

testset: /Users/songdanzju/caffe/data/myself/test/testset

test.txt: /Users/songdanzju/caffe/data/myself/test/test.txt

 

> 生成lmdb文件的时候出现问题：

 

原因：train_lmdb 和val_lmdb文件is already exists，删掉，再运行，解决。

 

> 

 

 

 

读书笔记 4 学习搭建自己的网络 MNIST 在 caffe 上进行训练与学习 

——————————————————————————————————

> 问题：执行./examples/mnist/create_mnist.sh时候出错：

WARNING: Logging before InitGoogleLogging() is written to STDERR

F0111 15:36:44.385371 2933224384 convert_mnist_data.cpp:144] This example requires LevelDB and LMDB; compile with USE_LEVELDB and USE_LMDB.

 

准备重新编译caffe，结果cmake时出错：

CMake Error at /usr/local/Cellar/cmake/3.7.1/share/cmake/Modules/FindPackageHandleStandardArgs.cmake:138 (message):

  Could NOT find vecLib (missing: vecLib_INCLUDE_DIR)

 

解决方法：

open the CMakeCache.txt file,
find this line:
//vecLib include directory
vecLib_INCLUDE_DIR:PATH=/System/Library/Frameworks/vecLib.framework/Headers

change to:
//vecLib include directory
vecLib_INCLUDE_DIR:PATH=/Applications/Xcode.app/Contents/Developer/Platforms/MacOSX.platform/Developer/SDKs/MacOSX10.12.sdk/System/Library/Frameworks/vecLib.framework/Headers

然后，

(caffe_root)

cd build

cmake ..

make

 

______________________________________________

 

> 问题：执行net.set_phase_test()发现错误：

AttributeError                            Traceback (most recent call last)

<ipython-input-20-23af18ee8508> in <module>()

----> 1 net.set_phase_test()

      2 net.set_mode_cpu()

 

AttributeError: 'Classifier' object has no attribute 'set_phase_test'

解决：import caffe 然后dir(caffe)发现没有set_phase_test，别人的做法：I was able to remove it from my python classify script and everything still seemed to work，我删除以后发现net.set_mode_cpu()同样报错，于是改成caffe.set_mode_cpu()，解决。

 

> 可视化图像特征的代码：filter_visualization.ipynb

https://github.com/intelcaffe/caffe-old/blob/master/examples/filter_visualization.ipynb

各部分源码（全，各种ipynb都有）：http://nbviewer.jupyter.org/github/BVLC/caffe/tree/master/examples/