Caffe学习系列（一）Ubuntu16.04下搭建编译Caffe环境，并运行MNIST示例（仅CPU）
前言：学习深度学习是从本科毕业设计开始，如今学习了不少理论知识，利用Caffe框架要付诸实践了，记录下来学习过程，也算是心路历程。
刚开始搭建Caffe环境遇到很多的问题，先放弃安装GPU相关的环境了，先在CPU下训练，尽管跑训练速度很慢，但以后再解决GPU的问题。
正文：
1、安装必要依赖包：
sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compiler sudo apt-get install --no-install-recommends libboost-all-dev sudo apt-get install libatlas-base-dev sudo apt-get install python-dev sudo apt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev
PYTHON需要2.7版本,这是操作系统本身已经安装好的. 输入python2.7 --version 会显示具体的版本号说明安装了.
2、下载Caffe
首先安装git工具：
sudo apt-get install git
然后下载caffe包：
git clone https://github.com/BVLC/caffe.git
接下来进入caffe目录下（我讲caffe下载到/home下了）。
cd caffe/
进入里面的PYTHON文件夹,然后输入
for req in $(cat requirements.txt); do pip install $req; done
如果没有pip，得先安装一下: sudo apt install python-pip
3、安装Caffe
进入caffe根目录，使用模板写个Makefile.config. 具体就是先复制一下模板, 再改一些内容
cp Makefile.config.example Makefile.config
首先，#CPU MODE下，在CPU_ONLY := 1前面的#要去掉. （因为仅在CPU下跑Caffe）
然后,在其中找到如下内容，两个路径要改成这样:(添加后面的两个hdf5的路径, 否则编译时报hdf5错误)
# Whatever else you find you need goes here.
INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial
LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu/hdf5/serial
现在准备就绪，开始安装Caffe：
依次执行下列命令：
make pycaffe make all make test make runtest
当我执行make pycaffe命令的时候，报了错：fatal error: numpy/arrayobject.h没有那个文件或目录
其实numpy已经是安装的，anaconda2里面有，Python中import numpy也没有问题，但就是在此处报错，解决方法：
sudo apt-get install python-numpy
然后再执行一遍 make pycaffe命令就行了。
显示所有的TESTS PASSED，说明已经安装好了。
如果遇到：fatal error: hdf5.h: 没有那个文件或目录”，解决办法如下：
在Makefile.config文件的第85行，添加/usr/include/hdf5/serial/ 到 INCLUDE_DIRS，也就是把下面第一行代码改为第二行代码。
将# Whatever else you find you need goes here.下面的 INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib 修改为： INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu /usr/lib/x86_64-linux-gnu/hdf5/serial
在Makefile文件的第173行，把 hdf5_hl 和hdf5修改为hdf5_serial_hl 和 hdf5_serial，也就是把下面第一行代码改为第二行代码。
LIBRARIES += glog gflags protobuf boost_system boost_filesystem m hdf5_hl hdf5
LIBRARIES += glog gflags protobuf boost_system boost_filesystem m hdf5_serial_hl hdf5_serial
cd /usr/lib/x86_64-linux-gnu
然后根据情况执行下面两句：
sudo ln -s libhdf5_serial.so.10.1.0 libhdf5.so
sudo ln -s libhdf5_serial_hl.so.10.0.2 libhdf5_hl.so
之后继续编译就行了。
4、配置python
在caffe根目录的python文件夹下，有一个requirements.txt的清单文件，上面列出了需要的依赖库，按照这个清单安装就可以了。
因为前面配置有报错，所以执行一下一下语句查看：
sudo pip install -r python/requirements.txt
结果打印如下：
UndefinedEnvironmentName: 'extra' does not exist in evaluation environment.
You are using pip version 8.1.1, however version 9.0.1 is available.
You should consider upgrading via the 'pip install --upgrade pip' command.
显示scikit-image错误, 那就安装一下scikit-image就好了。
按照提示，执行一下语句：
pip install --upgrade pip
然后执行：
pip install scikit-image
去到Caffe根目录里面的python文件夹, 把当前路径记录下来(pwd). 然后在终端下输入以下命令(把记下的路径改在相应地方)，回车
export PYTHONPATH=/path/caffe/python:$PYTHONPATH
这时候应该可以了,试验一下:
# python Python 2.7.12 (default, Nov 19 2016, 06:48:10) [GCC 5.4.0 20160609] on linux2 Type "help", "copyright", "credits" or "license" for more information. >>> import caffe >>>
当import caffe后回车，没有报错，说明python环境已经搭建好。
问题：
当我再进入系统的时候import caffe失效
直接使用export 时 只是在当前的登录窗口中有效，一旦关闭就会失效
解决如下：
$注意： /path/to/caffe/python 这是你的caffe的路径下面的python 我查了一下Ubuntu中有很多文件可以存放 PYTHONPATH=/path/to/caffe/python:$PYTHONPATH 添加到 $sudo vim /etc/profile PYTHONPATH=/path/to/caffe/python:$PYTHONPATH export 添加完成后记得要 source profile
解决目前的困难。
更新：在我远程控制时，出现如下错误：
这个错误一般是因为你在远程登陆服务器，而caffe python中 matplotlib是绘图功能，需要在图形界面才行，这时候可以在import之前加入如下代码解决：
打开 {caffe_root}/python/caffe/__init__.py
Add the following lines to the top:
import matplotlib
matplotlib.use('Agg')
解决当前困难。
5、训练MNIST集
将终端定位到Caffe根目录
然后执行脚本文件，下载MNIST数据库并解压缩
./data/mnist/get_mnist.sh
我由于网络问题没有收到HTTP返回，所以按照脚本里的代码，根据网址在网上下载压缩包，cp到mnist文件夹下，使用脚本里的解压命令依次解压。
然后，将其转换成Lmdb数据库格式
./examples/mnist/create_mnist.sh
然后训练网络
./examples/mnist/train_lenet.sh
训练的时候可以看到损失与精度数值
可以看到最终训练精度是0.9911
成功完成。
分享只为更好的记录～
by still、
