Linux下深度学习常用工具的安装

.Matlab 2015 64bit 的安装

  (一)安装包下载

       百度网盘: [https://pan.baidu.com/s/1gf9IeCN], 密码: 4gj3

  (二)Vmware 使用Windows共享目录

        更改虚拟机设置时需要将系统关机,挂起状态不可以设置,Linux共享目录位于/mnt/hgfs

        

  (三) 挂载镜像文件

         在Terminal中输入如下命令:

   cd /mnt/hgfs/
  sudo mount -o loop 迅雷下载/R2015b_glnxa64.iso /media/matlab/

  (四)执行安装

  在Terminal中输入如下命令:

  cd /media
  mkdir matlab
  sudo ./install

  

    

  

  (五)破解

  将crack文件夹下的libmwservices.so copy到 /usr/local/MATLAB/R2014A/bin/glnxa64

  在Terminal中输入如下命令:

  cd /usr/local/MATLAB/R2015b/bin/
  sudo ./matlab

  

  

  cd /mnt/hgfs/ 迅雷下载/Matlab\ 2015b\ Linux64\ Crack/R2015b/bin/
  sudo cp -r glnxa64 /usr/local/MATLAB/R2015b/bin/

  (五)运行测试

  运行测试是否成功破解

  在Terminal中输入如下命令:

  cd /usr/local/MATLAB/R2015b/bin/
   sudo ./matlab

 2.caffe 安装

    (一)配置apt-get源为国内服务器,备份原配置文件,更新地址为清华镜像或阿里镜像

  在Terminal中输入如下命令:

  cd /etc/apt
  sudo cp sources.list sources.list.bak
  vi sources.list  
  # 默认注释了源码镜像以提高 apt update 速度,如有需要可自行取消注释
  deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial main restricted universe multiverse
  # deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial main restricted universe multiverse
  deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-updates main restricted universe multiverse
  # deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-updates main restricted universe multiverse
  deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-backports main restricted universe multiverse
  # deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-backports main restricted universe multiverse
  deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-security main restricted universe multiverse
  # deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-security main restricted universe multiverse

  # 预发布软件源,不建议启用
  # deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-proposed main restricted universe multiverse
  # deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ xenial-proposed main restricted universe multiverse

   (二)依赖包安装

  在Terminal中输入如下命令:

  sudo apt-get update
  sudo apt-get install git 
  sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compiler
   sudo apt-get install --no-install-recommends libboost-all-dev
  sudo apt-get install libatlas-base-dev
   sudo apt-get install python-dev
   sudo apt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev

   (三)caffe源码下载  

  git clone https://github.com/bvlc/caffe.git
  cd caffe/
  mv Makefile.config.example Makefile.config

  (四)执行编译

  修改Makefile.config,打开CPU_ONLY选项,保存;

  即第6行修改为

 # CPU-only switch (uncomment to build without GPU support).
   CPU_ONLY := 1

     第85行修改为

   INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial/

     修改Makefile文件173行

   LIBRARIES += glog gflags protobuf boost_system boost_filesystem m hdf5_serial_hl hdf5_serial

  执行编译

  make –j4
  make test -j4
  make runtest -j4

  当返回PASSED结果时即为编译成功

  #GPU编译错误: undefined reference to `cv::imread(cv::String const&, int),即找不到OpenCVC动态链接库
  sudo gedit Makefile , 修改为
  LIBRARIES += glog gflags protobuf boost_system boost_filesystem m hdf5_serial_hl hdf5_serial opencv_core opencv_highgui opencv_imgproc  

 3.TensorFlow安装

    (一)获取并安装python-pip,python-dev

  sudo apt-get install python-pip python-dev

 (二)下载TensorFlow

  https://storage.googleapis.com/tensorflow/linux/cpu/tensorflow-0.8.0-cp27-none-linux_x86_64.whl

 (三)安装TensorFlow

  pip install tensorflow-0.8.0-cp27-none-linux_x86_64.whl

    出现Successfully installed numpy-1.14.3 protobuf-3.0.0b2 tensorflow-0.8.0即说明已经安装成功

    注意:如果同时安装了python2和python3,使用pip安装时可能会报错,例如上述安装包tensorflow-0.8.0-cp27-none-linux_x86_64.whl代表python2.7版本的,因此需要使用pip2 install

    如何测试:

    在Linux Shell中输入python进入交互模式

  import tensorflow as tf
  hello = tf.constant("Hello World, TensorFlow!")
  sess = tf.Session()
  print(sess.run(hello))

   根据运行结果  Hello World,TensorFlow!  即可判断成功安装

 4.Matconvnet的编译

 (一)打开Matlab

 cd /usr/local/MATLAB/R2015b/bin/
 sudo ./matlab

 (二)定位到Matconvnet目录,执行编译

   cd /usr/local/MATLAB/R2015b/bin/
  vl_setupnn
  vl_compilenn('verbose',1) 

    问题1  gcc,g++版本不匹配

  #Warning: You are using gcc version '5.4.0-6ubuntu1~16.04.9)'.
  #The version of gcc is not supported. The version currently
  #supported with MEX is '4.7.x'.  

  sudo apt-get  install gcc-4.7
  sudo apt-get  install g++-4.7
  cd /usr/bin/
  sudo rm gcc
  sudo ln -s gcc-4.7 gcc
  gcc -v
  sudo rm g++
  sudo ln -s g++-4.7 g++
  g++ -v 

5.CUDA和CUDNN的安装(虚拟机不能使用CUDA)

 CUDA是NVIDIA的编程语言平台,想使用GPU就必须要使用cuda,CUDNN是GPU加速计算深层神经网络的库。

 以安装Cuda-9.2为例,具体版本请根据实际需求选择

 

  在NVIDIA官网选择驱动下载(https://developer.nvidia.com/compute/cuda/9.2/Prod/local_installers/cuda-repo-ubuntu1604-9-2-local_9.2.88-1_amd64),如出现网络打不开可将链接复制到迅雷下载

  执行如下操作:

  sudo dpkg -i cuda-repo-ubuntu1604-9-2-local_9.2.88-1_amd64.deb
  sudo apt-key add /var/cuda-repo-9-2-local/7fa2af80.pub
  sudo apt-get update
  sudo apt-get install cuda
  nvidia-smi  

  问题1  由于虚拟机不支持对主机显卡的调用,安装cuda后可能会导致重启后无法进入图形界面

     通过执行 sudo apt-get purge nvidia-*  删除原Nvidia显卡驱动,执行reboot即可

 问题2 最新版TensorFlow-GPU版本不支持Cuda-9.2(python中执行import tensorflow提示Tensorflow:ImportError:libcusolver.so.9.0)
    
请安装cuda-9.0

  CUDN的安装

  ①下载 https://developer.nvidia.com/compute/machine-learning/cudnn/secure/v7.1.4/prod/9.2_20180516/cudnn-9.2-linux-x64-v7.1

  ②解压文件,并拷贝到usr/local/cuda/目录

  #使用如下语句在当前目录解压,解压后生成include和lib64文件夹
  tar -zxvf cudnn-9.2-linux-x64-v7.1.tgz
  #将lib文件和对应头文件拷贝到/usr/local目录   cd cuda/lib64/   sudo cp lib* /usr/local/cuda/lib64/
  cd ../   sudo cp include/cudnn.h /usr/local/cuda/include/

  ③更新软连接

  cd /usr/local/cuda/lib64
  sudo rm -rf libcudnn.so libcudnn.so.7
  sudo ln -s libcudnn.so.7.1.4 libcudnn.so.7
  sudo ln -s libcudnn.so.7 libcudnn.so

  ④添加环境变量

  sudo gedit /etc/profile

   在打开的文件中加入如下两句话

  export PATH=/usr/local/cuda/bin:$PATH
  export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH

   保存后,使环境变量立即生效

  source /etc/profile

  ⑤安装cudnn example

  cd /usr/local/cuda/samples
  sudo make all -j4

   全部编译完成后,进入 samples/bin/x86_64/linux/release, 运行deviceQuery

  cd bin/x86_64/linux/release
  ./deviceQuery 

 6.OpenCV的安装和使用

  ①.依赖库安装

  sudo apt-get install cmake
  sudo apt-get install build-essential
  sudo apt-get install libgtk2.0-dev
  sudo apt-get install libavcodec-dev
  sudo apt-get install libavformat-dev
  sudo apt-get install libjpeg.dev
  sudo apt-get install libtiff4.dev
  sudo apt-get install libswscale-dev
  sudo apt-get install libjasper-dev

  ②.从官网(https://github.com/opencv/opencv/tree/3.4.1)下载源码,编译安装

  cp -r opencv-2.4.13.6.zip /home/shine/Downloads/
  cd /home/shine/Downloads/
  unzip opencv-2.4.13.6.zip
  cd opencv-2.4.13.6/
  mkdir build
  cd build/

  ③.创建build目录并在该目录下生成Makefile文件,指定安装路径为/usr/local/(参考 https://stackoverflow.com/questions/45518317/in-source-builds-are-not-allowed-in-cmake  

  cmake .. -DCMAKE_BUILD_TYPE=Release -DCMAKE_INSTALL_PREFIX=/usr/local
  sudo make -j4
  sudo make install -j4
  make clean

  如需安装opencv_contribute(扩展包中的很多代码并没有通过大量的稳定性测试,但是其基本功能还是可以运行的),对命令进行修改(需自行下载opencv_contrib),例如本例中保存路径为~/Downloads

  #如下命令指定安装路径以及扩展包的路径,请根据实际修改
  cmake -DCMAKE_BUILD_TYPE=Release -DCMAKE_INSTALL_PREFIX=/usr/local  -D OPENCV_EXTRA_MODULES_PATH=~/Downloads/opencv_contrib-master/modules ..
  sudo make -j4
  sudo make install -j4
  make clean
  
#若出现No package 'gstreamer-video-1.0' found,请参考http://answers.opencv.org/question/95734/cmake-not-picking-gstreamer-on-ubuntu/
  #若出现Unknown CMake command "ocv_append_source_files_cxx_compiler_options,请参考https://blog.csdn.net/qq_40155090/article/details/79977423
  #配置过程中可能出现face_landmark_model.dat下载过慢导致的失败,请使用VPN下载
https://raw.githubusercontent.com/opencv/opencv_3rdparty/8afa57abc8229d611c4937165d20e2a2d9fc5a12/face_landmark_model.dat后放置于/opencv-3.4.1/.cache/data目录
  #配置成功后的截图如下所示,May you succeed, congruations and enjoy  
  
  #执行sudo make -j4进行编译时可能会遇到各种奇怪的问题(例如hdf5.cpp编译失败),因此需要确保opencv-master与opencv-contribute为一个版本,建议都使用github上的版本

  #编译时出现~Download/opencv_contrib-master/modules/xfeatures2d/src/boostdesc.cpp:653:37: fatal error: boostdesc_bgm.i: No such file or directory compilation terminated.
  #参考 https://github.com/opencv/opencv_contrib/issues/1301
     http://answers.opencv.org/question/113942/cmake-failing-with-hash-mismatch/
  #如果问题仍然没有解决,尝试下载上述缺少的文件放在~/Downloads/opencv_contrib-master/modules/xfeatures2d/src目录下即可
  
  #编译时出现opencv2/xfeatures2d/cuda.hpp: No such file or directory
  #参考https://github.com/opencv/opencv_contrib/issues/1131,执行cmake -DBUILD_opencv_xfeatures2d=OFF ..
 
  #编译时出现opencv2/sfm/conditioning.hpp: No such file or directory
  #执行了sudo make clean;sudo make -j4;后问题解决了(无法解释)

  如何查看OpenCV版本

   pkg-config --modversion opencv

  ④.添加库路径 

  sudo vi /etc/ld.so.conf.d/opencv.conf , 输入/usr/local/lib , :wq保存并退出

  ⑤.添加环境变量

  sudo vi /etc/profile 
  #在末尾输入 
  export PKG_CONFIG_PATH=/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH
  export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib
  #更新环境变量:
  source /etc/profile
  sudo vi /etc/bash.bashrc

  #在末尾输入
  export PKG_CONFIG_PATH=$PKG_CONFIG_PATH:/usr/local/lib/pkgconfig
  export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/lib
  #更新环境变量
  source /etc/profile

  ⑥.更新系统库配置

  sudo ldconfig

  ⑦.查看是否安装成功

  pkg-config --cflags opencv  
  pkg-config --libs opencv

  ⑧.执行测试程序,定位到sample目录,执行build_all

  cd /home/shine/Downloads/opencv-2.4.13.6/samples/c
  ./build_all.sh
  ./find_obj

  若执行build_all编译时出现如下错误 

  compiling contours.c
  /usr/bin/ld: /usr/lib/gcc/x86_64-linux-gnu/5/../../../x86_64-linux-gnu/crti.o: unrecognized relocation (0x2a) in section `.init'
  /usr/bin/ld: final link failed: Bad value
  collect2: error: ld returned 1 exit status

  可能是没有安装binutils,执行

  sudo apt-get install binutils
  ./build_all.sh
  ./find_obj

 7.Jupyter

  ①安装

  sudo pip3 install --upgrade pip
  sudo pip3 install jupyter
  sudo pip install matplotlib

  以上命令使用python3为基础,因此运行jupyter会调用python3,若要使用python2请使用
  sudo pip install jupyter

  ②测试使用  

  jupyter notebook

  随后在浏览器界面即可使用 http://localhost:8888/notebooks 进行登陆

  

  8.shadowsocks

   sudo apt-get update
   sudo apt-get install python-pip
   sudo pip install shadowsocks
   sudo gedit /etc/shadowsocks.json 

   配置shadowsocks,粘贴如下内容

  {"server":"xx.xx.xx.xx",
   "server_port":xxxx,
   "local_address": "127.0.0.1",
   "local_port":1080,
   "password":"xxxxxxxx",
   "timeout":300,
   "method":"aes-256-cfb",
   "fast_open": true,
   "workers": 1
  } 
  sudo sslocal -c /etc/shadowsocks.json -d start
  sudo gedit /etc/rc.local

  配置开机启动

  在exit0上一行加上/usr/local/bin/sslocal -c /etc/shadowsocks.json -d start

  ①火狐浏览器使用

  打开Add-ons,搜索FoxyProxy Standard,点击Add To Firefox,添加完成后点击右上角图表进入Options,即如下图所示

  

  点击左上角Add,其中Title可随便定义,IP以及Port同上shadowsocks配置,默认为127.0.0.1,1080

  

  ②谷歌浏览器使用

  从github上下载最新的插件SwitchyOmega-Chromium-2.5.15.crx,将其拖到chrome中即可完成安装,同理完成上述配置,点击Apply Changes

  

  可通过右上角选择Direct或proxy选择时候走代理通道

 9.Linux下载工具aria2

  推荐这个工具主要在于Linux下没有比较好的绿色百度网盘下载器,由于百度对非会员进行速度限制(默认50Kb/s),并强制大文件通过百度云管家下载,具体操作如下

  # aria2安装
  sudo apt-get install aria2
  # 安装浏览器插件,推荐chrome,从github下载zip文件,打开chrome://extensions/,将文件夹中的BaiduExporter.crx拖到浏览器即可
  # https://codeload.github.com/acgotaku/BaiduExporter/zip/master

  # 将需要下载的文件保存到个人网盘,在界面中选择导出下载,选择其中的文本导出,将窗口中命令复制到命令行中运行即可

  

 

#博主测试使用aria2下载速度应该在500kb/s左右
#如果希望达到更快的速度,请参考 https://github.com/proxyee-down-org/proxyee-down
#使用proxyee-down下载同时将分段数调到最大(windows版本请自行百度)

 10.sourceinsight

  sourceinsight是windows下常用的代码浏览工具,虽然使用vim+ctags也能达到类似的效果,但习惯上还是更倾向于使用sourceinsight

  sourceinsight没有linux的发行版本,因此要在ubuntu上运行需要安装wine,具体操作方式如下(需要自行下载sourceinsight安装包,3.5版本激活码SI3US-205035-36448):  

  sudo apt-get install wine
  wine Si3583Setup.exe  

  参考文献:

  1.https://www.nvidia.cn/object/caffe-installation-cn.html (如何在 NVIDIA GPU 上下载并安装CAFFE)

   

posted on 2018-05-11 21:54  了若生死赋闲情  阅读(2173)  评论(0编辑  收藏  举报