Ubuntu16.04 Caffe系列 最新更新安装教程 附NVIDIA显卡安装及cuda、cudnn、caffe的安装
博文版本:NVIDIA 418.74(对应显卡2070,如果是1060的请下载较低版本的),cuda 10.0, cudnn 7.6.2, opencv 3.4.3
总结了一些网上其他教程的坑并已修改,按照博文和普行计算机,不出意外,这是准确而又超快速度的安装总结。
勘误联系方式:onyxiakylin@outlook.com
第1步 安装依赖包
安装后续步骤或环境必需的依赖包,依次输入以下命令:
sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev
sudo apt-get install libopencv-dev libhdf5-serial-dev protobuf-compiler
sudo apt-get install --no-install-recommends libboost-all-dev
sudo apt-get install libopenblas-dev liblapack-dev libatlas-base-dev
sudo apt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev
sudo apt-get install git cmake build-essential
sudo apt-get install qt5-default ccache libv4l-dev libavresample-dev libgphoto2-dev libopenblas-base libopenblas-dev doxygen pylint libvtk6-dev
这里进行归类,方便大家复制粘贴输命令 :
sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compiler libopenblas-dev liblapack-dev libatlas-base-dev libgflags-dev libgoogle-glog-dev liblmdb-dev
sudo apt-get install --no-install-recommends libboost-all-dev
sudo apt-get install git cmake build-essential
第2步 禁用 nouveau
安装好依赖包后需要禁用 nouveau,只有在禁用掉 nouveau 后才能顺利安装 NVIDIA 显卡驱动
通过以下命令打开:
sudo gedit /etc/modprobe.d/blacklist-nouveau.conf
打开后发现该文件中没有任何内容,写入:
blacklist nouveau option nouveau modeset=0
保存时命令窗口可能会出现以下提示:
** (gedit:4243): WARNING **: Set document metadata failed: 不支持设置属性 metadata::gedit-position
这是没有关系的,保存后关闭文件。
注意此时还需执行以下命令使禁用 nouveau 真正生效:
sudo update-initramfs -u
第3步 配置环境变量
同样使用 gedit 命令打开配置文件:
sudo gedit ~/.bashrc
打开后在文件最后加入以下两行内容:
export LD_LIBRARY_PATH=/usr/lib/x86_64-linux-gnu:$LD_LIBRARY_PATH
export LD_LIBRARY_PATH=/lib/x86_64-linux-gnu:$LD_LIBRARY_PATH
保存退出。
(第4步 安装nvidia 显卡驱动)
因为cuda自带的NVIDIA驱动不一定最适合自己的计算机,这里,如果要安装特定的显卡驱动,先去NVIDIA官网下载适合的驱动文件,https://www.nvidia.cn/Download/index.aspx?lang=cn. 而常见的显卡型号一般为GeForce,推荐进入该页面下载:https://www.geforce.cn/drivers,根据自己型号参数下载。
把下载的安装文件移动到 HOME 路径下,然后通过 Ctrl + Alt + F1 进入文本模式,此时屏幕会变黑,然后继续操作即可。输入帐号密码登录,登录后首先关闭桌面服务:(通过 Ctrl + Alt + F7 可返回图形化模式)
sudo service lightdm stop
可以通过 Ctrl + Alt + F7 发现已无法成功返回图形化模式,说明桌面服务已成功关闭
运行NVIDIA 安装文件进行安装,之前我们已经把 安装文件移动至 HOME,则通过 sh 命令运行安装文件即可:
sudo sh NVIDIA-Linux-x86_64-418.74.run --no-opengl-files
接下来的按钮选项都按它默认给的(可能是yes,可能是no)敲回车就行,然后
sudo service lightdm start
返回图形化界面。
第5步 安装 CUDA
进入 https://developer.nvidia.com/cuda-downloads ,依次选择 CUDA 类型然后下载即可。下载的1.4G的 CUDA中包含有 nvidia 显卡驱动,故此步骤 CUDA 的安装可以包括 nvidia 显卡驱动的安装.
此时注意你是否已经安装过 nvidia 显卡驱动.
两种情况:
1. 执行过第4步或者自己已经提前下载过驱动
若可以保证已安装正确的 nvidia 显卡驱动,则直接开始安装 CUDA,在安装过程中选择不再安装 nvidia 显卡驱动。(若提示是否安装NVIDIA,则选no)
那么直接打开终端,输入
sudo sh cuda_10.0.130_410.48_linux.run --no-opengl-libs
其中 cuda_10.0.130_410.48_linux.run 是我的 CUDA 安装文件名,而你需替换为自己的 CUDA 安装文件名
执行此命令一会后出现 0%信息,此时长按回车键让此百分比增长,直到100%,然后按照提示操作即可。
先输入 accept ,然后让选择是否安装 nvidia 驱动,若未安装则输入 “y”,若确保已安装正确驱动则输入“n”。
剩下的选择则都输入“y”或是回车以确认安装或确认默认路径安装。
2.没有装过驱动
把下载的 CUDA 安装文件移动到 HOME 路径下,此时注意记得文件名,建议拍照,后续有用。
然后通过 Ctrl + Alt + F1 进入文本模式,此时屏幕会变黑,然后继续操作即可。输入帐号密码登录,登录后首先关闭桌面服务:(通过 Ctrl + Alt + F7 可返回图形化模式)类似于第4步。
sudo service lightdm stop
可以通过 Ctrl + Alt + F7 发现已无法成功返回图形化模式,说明桌面服务已成功关闭
运行 CUDA 安装文件进行安装,之前我们已经把 CUDA 安装文件移动至 HOME,则直接通过 sh 命令运行安装文件即可:
sudo sh cuda_10.0.130_410.48_linux.run --no-opengl-libs
其中 cuda_10.0.130_410.48_linux.run 是我的 CUDA 安装文件名,而你需替换为自己的 CUDA 安装文件名,若此时忘记可翻阅照片输入,或直接通过 ls 文件查看文件名。
执行此命令一会后出现 0%信息,此时长按回车键让此百分比增长,直到100%,然后按照提示操作即可。
先输入 accept ,然后让选择是否安装 nvidia 驱动,若未安装则输入 “y”,若确保已安装正确驱动则输入“n”。
剩下的选择则都输入“y”或是回车以确认安装或确认默认路径安装。此时若出现安装失败提示,则可能为未关闭桌面服务或在已安装 nvidia 驱动的情况下重复再次安装 nvidia 驱动。
安装完成后输入重启命令重启:
reboot
重启后登录进入系统。
上述两种情况结束后,接下来是配置 CUDA 环境变量,与第3步类似。
使用 gedit 命令打开配置文件:
sudo gedit ~/.bashrc
在该文件最后加入以下两行并保存:(注意自己的版本号,别盲目复制粘贴)
export PATH=/usr/local/cuda-10.0/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH
使该配置生效:
source ~/.bashrc
第6步 验证 CUDA 是否安装成功
分别执行以下命令:
cd /usr/local/cuda-10.0/samples/1_Utilities/deviceQuery
make -j`nproc`
./deviceQuery
若看到类似以下信息则说明 cuda 已安装成功:
第7步 安装 cudnn
登录官网:https://developer.nvidia.com/rdp/cudnn-download ,下载对应 cuda 版本且 linux 系统的 cudnn 压缩包,注意官网下载 cudnn 需要注册帐号并登录。
下载完成后解压,得到一个 cuda 文件夹,该文件夹下include 和 lib64 两个文件夹,命令行进入 cuda/include 路径下,然后进行以下操作:
sudo cp cudnn.h /usr/local/cuda/include/
然后命令行进入 cudn/lib64 路径下,运行以下命令:
sudo cp lib* /usr/local/cuda/lib64/ #复制动态链接库
cd /usr/local/cuda/lib64/
sudo rm -rf libcudnn.so libcudnn.so.7 #删除原有动态文件
sudo ln -s libcudnn.so.7.6.2 libcudnn.so.7 #生成软衔接
sudo ln -s libcudnn.so.7 libcudnn.so #生成软链接
安装完成后可用
nvcc -V
验证是否安装成功
若出现以下信息则表示安装成功:
第8步 安装 opencv 3.4.3
进入官网 : http://opencv.org/releases.html , 选择 3.4.3 版本的 source , 下载 zip (不同版本可能与cuda 10不兼容,请自查)
解压到要安装的位置,命令行进入已解压的文件夹 opencv目录下,执行:
mkdir build
cd build
cmake -D CMAKE_BUILD_TYPE=Release -D CMAKE_INSTALL_PREFIX=/usr/local ..
make -j`nproc`
编译成功后安装:
sudo make install
安装完成后可以通过查看 opencv 版本验证是否安装成功:
pkg-config --modversion opencv
第9步 安装 caffe
首先在要安装的路径下 :
git clone https://github.com/BVLC/caffe.git
(需要caffe用于openpose的同学,请下载这个,下面的Makefile.config 按照示例和具体文件夹的文件名自行修改,目前最高cuda 9.0的example,不过对cuda > 9.0的版本影响不大)
git clone https://github.com/CMU-Perceptual-Computing-Lab/caffe.git
进入caffe ,将 Makefile.config.example 文件复制一份并更名为 Makefile.config :
cp Makefile.config.example Makefile.config
然后修改 Makefile.config 文件,在 caffe 目录下打开该文件:
gedit Makefile.config
修改 Makefile.config 文件内容:
1.应用 cudnn
将
#USE_CUDNN := 1
修改成:
USE_CUDNN := 1
2.应用 opencv 版本
将
#OPENCV_VERSION := 3
修改为:
OPENCV_VERSION := 3
3.使用 python 接口
将
#WITH_PYTHON_LAYER := 1
修改为
WITH_PYTHON_LAYER := 1
4.修改 python 路径
INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include
LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib
修改为:
INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial
LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu /usr/lib/x86_64-linux-gnu/hdf5/serial
然后修改 caffe 目录下的 Makefile 文件:
gedit Makefile
将:
NVCCFLAGS += -ccbin=$(CXX) -Xcompiler-fPIC $(COMMON_FLAGS)
替换为:
NVCCFLAGS += -D_FORCE_INLINES -ccbin=$(CXX) -Xcompiler -fPIC $(COMMON_FLAGS)
将:
LIBRARIES += glog gflags protobuf boost_system boost_filesystem m
改为:
LIBRARIES += glog gflags protobuf boost_system boost_filesystem m hdf5_serial_hl hdf5_serial
然后修改 /usr/local/cuda/include/crt/host_config.h 文件 :
sudo gedit /usr/local/cuda/include/crt/host_config.h
将
#error-- unsupported GNU version! gcc versions later than 7 are not supported!
改为
//#error-- unsupported GNU version! gcc versions later than 7 are not supported!
开始编译,在 caffe 目录下执行 :
make -j`nproc`
如果之前的配置或安装出错,那么编译就会出现各种各样的问题,所以前面的步骤一定要细心。
编译成功后可运行测试:
sudo make runtest -j`nproc`
如果出现类似画面说明安装成功。
期间可能会出现:
.build_release/tools/caffe: error while loading shared libraries: libcudart.so.10.0: cannot open shared object file: No such file or directory
之类的错误,可用以下方法解决:
sudo cp /usr/local/cuda/lib64/libcudart.so.10.0 /usr/local/lib/libcudart.so.10.0 && sudo ldconfig
其他类似情况详见https://blog.csdn.net/DragonGirI/article/details/96450959,注意版本号,所给链接是以cuda 9为例。
另附查看cuda和cudnn的版本方法:
cuda:
cat /usr/local/cuda/version.txt
cudnn:
cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2