Loading

miniconda配置安装pytorch cuda版本 + pytorch lightning

1. 安装miniconda

  • 下载安装包
wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-latest-Linux-x86_64.sh
  • 执行程序
bash Miniconda3-latest-Linux-x86_64.sh
  • 重启终端或者source .bashrc后安装完毕;执行conda,不报错说明安装成功
     

2. 更换为清华源

PS:后添加的会排在channels列表的最上面,因此越后添加的优先级越高。

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/

conda config --set show_channel_urls yes
conda config --set auto_activate_base false
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

或者修改.condarc文件:

channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
  - defaults
show_channel_urls: true
auto_activate_base: false

PS: 这里的顺序最好一致,排在越上面的表示优先级越高,因此在安装pytorch的时候,会优先在第一个源仓库中去寻找。而gpu版本的pytorch也只有第一个仓库中含有。


conda恢复默认源的方法:

config --remove-key channels
conda config --set show_channel_urls yes
conda config --set auto_activate_base false

或移除清华源:

conda config --remove channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/

或者修改.condarc文件:

channels:
  - defaults
show_channel_urls: true
auto_activate_base: false

 

3. 新建python3.8环境

conda create -n torch python=3.8

并激活该环境,进入该环境后才能将pytorch安装在此环境中:

conda activate torch

 

4. 安装pytorch

安装cuda和cudnn按照这篇文章

安装pytorch前需要查看本机的cuda版本:

nvcc -V

image

由图可知cuda版本为11.0.221

查看cudnn版本

  • whereis cudnn 找到相应的目录
  • cat /usr/local/cudnn/include/cudnn_version.h | grep CUDNN_MAJOR -A 2

image

可知cudnn版本为8.1.1

如果未安装cuda和cudnn,也可以使用conda来安装,前提是conda源中含有相应的版本。

  • 利用conda安装cuda和cudnn(根据显卡型号安装相应驱动)
conda install cudatoolkit=11.0.221

因此cudnn的版本最好为8.0.5
(但是我们这里选择了cudnn=8.1.1,原因是cudnn 8.1.1也支持cuda11.0,选择支持自己cuda版本的最新版本,向下兼容,见下图)
image

4.1 使用默认源安装pytorch

对应cuda版本11.0.221,我们找到了1.7.1版本的pytorch与之对应。

conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 cudatoolkit=11.0 -c pytorch

4.2 使用清华源安装pytorch

conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 cudatoolkit=11.0

4.3 指定channel安装pytorch

conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 cudatoolkit=11.0 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch

4.4 本地安装pytorch

这里用pytorch 1.7.1 cuda版本举例。

4.4.1 下载所需的安装包

从清华开源镜像中找到所需要的安装包:
image

使用wget下载对应的安装包

wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/linux-64/pytorch-1.7.1-py3.8_cuda11.0.221_cudnn8.0.5_0.tar.bz2

 
或者本地用迅雷下载资源(速度较快)[SCP指令部分]
然后通过scp指令上传到服务器:

scp /Users/username/Downloads/filename username@servername:/path
补充:多文件拷贝
scp /Users/username/filedir/filename1 filename2 filename3  username@servername:/path

PS:
scp使用密钥验证并上传文件到服务器:

scp -i 证书的绝对路径/证书.perm 路径/需要上传的文件 username@servername:/path

scp下载单文件指令:

scp username@servername:/path/filename /localdir(本地目录)
补充:
1. 多文件拷贝
scp username@servername:/path/\{filename1,filename2,filename3,filepre.* \} /localdir
2. scp默认连接的远端主机22端口,如果ssh不是使用标准的22端口(以222为例)则使用-P(P大写)指定:
scp -P 222 username@servername:/path/filename /localdir(本地目录)

scp下载目录文件指令:

scp -r username@servername:/var/www/remote_dir/(远程目录) /local_dir(本地目录)

scp上传目录文件指令:

scp  -r local_dir username@servername:remote_dir

4.4.2 conda本地安装

下载完成后开始本地安装。

conda install --use-local pytorch-1.7.1-py3.8_cuda11.0.221_cudnn8.0.5_0.tar.bz2

测试时候会报错,原因是没有安装相关依赖:
image

提示说明缺少动态链接库文件,文件在mkl库中,需要另外安装。
安装所需要的依赖后即可:

conda install mkl

image

 

5. 测试pytorch是否安装成功

终端执行python,并输入以下命令:

import torch
print(torch.__version__, torch.cuda.is_available())

如果结果如下,则说明cuda版本的pytorch安装成功。

image

 

6. 安装pytorch_lightning

image

前提:安装的pytorch至少应该是1.7版本。

conda install pytorch-lightning
posted @ 2022-03-01 14:31  raiuny  阅读(3668)  评论(0编辑  收藏  举报