机器学习备注:Linux上运行anaconda3+Mask_RCNN
# Anaconda命令
关于conda和pip命令到底干了些啥,包下载到了哪里,包的地址保存在何处等问题,建议参考下面的文章,这里就不重复了。
apt-get、conda、pip安装东西的细节:https://blog.csdn.net/hsqyc/article/details/82893601
apt-get一般会把包下载到:/var/cache/apt/archives/
conda一般会把包下载到:~/anaconda3/pkgs/ (该目录下有一个urls.txt文件,记录了源文件的地址)
pip则一般会把包下载到:~/anaconda3/lib/pythonx.x/site-packages/
下面直接记录一下基本的使用过程。
# 机器学习备注:ubuntu18.04上运行Mask_RCNN模型
ubuntu18.04,没感觉出和16.04有什么很大的区别。
## Ubuntu18.04下安装Anaconda3
下面简单介绍如何在Ubuntu18.04环境下安装Anaconda3。
首先,去Anaconda的下载地址下载对应python版本的Anaconda安装文件。
(我这里下载的是python3.6的版本Anaconda3-5.2.0-Linux-x86_64.sh)
下载完成后,命令行进入到Anaconda3-5.2.0-Linux-x86_64.sh文件所在的路径下:
$ sh Anaconda3-5.2.0-Linux-x86_64.sh
Welcome to Anaconda3 5.2.0
In order to continue the installation process, please review the license agreement.
Please, press ENTER to continue
>>>
然后,根据提示按回车继续。
接下来,它会提示你是否接受协议,这里直接输入yes,再按回车即可(不要直接按回车,这样默认是no)
Do you accept the license terms? [yes|no]
[no] >>> yes
接下来会提示你指定安装路径,这里可以使用默认的,也可以自己指定
Anaconda3 will now be installed into this location:
/home/user/anaconda3
- Press ENTER to confirm the location
- Press CTRL-C to abort the installation
- Or specify a different location below
- [/home/user/anaconda3] >>>
然后就是等待安装进程完成,完成后会提示你是否要将Anaconda的安装路径添加到PATH环境变量中,输入yes就好了。
installation finished.
Do you wish the installer to prepend the Anaconda3 install location
to PATH in your /home/hj/.bashrc ? [yes|no]
如果输入no,那么我们就需要自己手动(sudo gedit ~/.bashrc)在.bashrc文件中添加export PATH="/opt/anaconda3/bin:$PATH",然后再在命令行中输入source ~/.bashrc
至此,Anaconda就安装好了,关闭当前的终端,重启开启另一个终端后,输入python来查看是否安装成功
user@user-MS-7816:~$ python
Python 3.6.5 |Anaconda, Inc.| (default, Jul 29 2018, 16:14:56)
[GCC 7.2.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>>
终端中启动Python已经替换成Anaconda的Python了,安装成功。
输入命令anaconda-navigator可以开启anaconda视图模式(注意,第一次开启时间可能会比较长)。
## 建立tensorflow开发环境
已经安装好anaconda, 继续搭建tensorflow开发环境
关键的就两句
conda create -n tensorflow python=3.6
和
source activate tensorflow
有时候不知道为什么,会碰到source deactivate报错的情况:bash: deactivate: No such file or directory
这个时候要么到anaconda3/bin/下面去source deactivate,要么就使用conda deactivate
anaconda推荐使用conda deactivate, 如下,
DeprecationWarning: 'source deactivate' is deprecated. Use 'conda deactivate'.
安装 tensorflow的命令如下,
参考:https://anaconda.org/anaconda/tensorflow-gpuconda install -c anaconda tensorflow-gpu
参考:https://anaconda.org/conda-forge/tensorflowconda install -c conda-forge tensorflow
conda install -c conda-forge/label/cf201901 tensorflow
好了,到现在为止,已经建立了一个tensorflow的开发环境
## 安装tensorflow下面必須的软件包
pip3 install (opencv-python, cython, numpy, skimage, scipy, pillow, cython, etc......)
## 操作步骤如下
step1 clone the Mask_RCNN repository
git clone https://github.com/matterport/Mask_RCNN.git
此时会在你的目录下生成一个Mask_RCNN的文件夹,这个就是你项目的ROOT_DIR,后面要用到
我的目录是:
(tensorflow) user@user-MS-7816:~/hub/Mask_RCNN$
该目录下有一个requirements.txt文件,此时还需要运行一下
pip3 install -r requirements.txt
以确保所需要的包都安装好
另外,如果你想安装Mask_RCNN,在系统任意地方都能调用的话,就要安装一下
python3 setup.py install
---------------------
step2 下载已经训练好的COCO weights (mask_rcnn_coco.h5)
官网(https://github.com/matterport/Mask_RCNN/releases)给出的地址是
https://github.com/matterport/Mask_RCNN/releases/download/v2.1/mask_rcnn_balloon.h5
因为()的原因,下载起来好慢,我下载了10多次,差不多花了一天,如果你运气和我一样差,那就用这个包吧
链接:https://pan.baidu.com/s/12A0E6h-mP4zl9oqoTvj6Ig 密码:4eks
---------------------
step3 把 mask_rcnn_coco.h5 放置到Mask_RCNN这个目录下面
Mask_RCNN/mask_rcnn_coco.h5
---------------------
step4 安装coco工具,
方案A:
$ git clone https://github.com/waleedka/coco.git
然后到coco/PythonAPI里去make一下,
(tensorflow) user@user-MS-7816:~/hub/coco/PythonAPI$ make
将生成的pycocotools文件夹复制到Mask_RCNN文件夹下。 或者,安装一下,这样在系统的任意地方都能调用到这个pycocotools, 运行的命令如下,
python3 setup.py build_ext install
方案B:
pip3 install git+https://github.com/waleedka/cocoapi.git#egg=pycocotools&subdirectory=PythonAPI
在这个方案下,会提示输入username+password(貌似别人没碰到这个问题,暂不多写)
---------------------
step5 启动anaconda中的tensor开发环境,选择jupyter notebook,然后在jupyter中upload这个demo,
MaskRCNN/samples/demo.ipynb
最后给出一张本人运行的结果图,
## 建立Pytorch开发环境
pytorch的用户也很多,已经安装好anaconda, 可继续搭建pytorch开发环境
同样,建立开发环境关键的就两句
conda create -n pytorch python=3.6
和
source activate pytorch
然后安装包(CPU模式下后面一般加“-cpu”):
conda install -c pytorch pytorch
conda install -c pytorch torchvision (不安装相关依赖:pip install torchvision)
更具体的请参考:
https://pytorch.org/get-started/locally
https://anaconda.org/pytorch/pytorch
Pytorch相关常用包
>>> conda install scikit-image
>>> conda install pandas
>>> conda install opencv
>>> conda install cython
说明:安装时到底用PIP 还是conda
一般来说,如果需要anaconda安装包及相关依赖, 就用conda,此时版本都是anaconda默认的;用这个安装能省不少时间;
如果只想安装某个包,或者某个包的某个版本,而不希望安装默认的anaconda依赖和版本,就用pip;在版本自定义的时候,我往往用pip。
卸载
如果只是要删除某一环境,使用
conda env remove -n myenvname
即可。
在ubuntu上卸载anaconda的步骤 :
(一)删除整个anaconda目录:
由于Anaconda的安装文件都包含在一个目录中,所以直接将该目录删除即可。
rm -rf anaconda文件夹名
(二)建议清理下.bashrc中的Anaconda路径:
1.到根目录下,打开终端并输入:
sudo gedit ~/.bashrc
2.在.bashrc文件末尾用#号注释掉之前添加的路径(或直接删除):
#export PATH=/home/matthew/anaconda3/bin:$PATH
#export ANACONDA_PATH=/home/matthew/anaconda3
保存并关闭文件
3.使其立即生效,在终端执行:
source ~/.bashrc
4.关闭终端,然后再重启一个新的终端,这一步很重要,不然在原终端上还是绑定有anaconda.