miniconda配置安装pytorch cuda版本 + pytorch lightning
1. 安装miniconda
- 下载安装包
wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-latest-Linux-x86_64.sh
- 执行程序
bash Miniconda3-latest-Linux-x86_64.sh
- 重启终端或者source .bashrc后安装完毕;执行conda,不报错说明安装成功
2. 更换为清华源
PS:后添加的会排在channels列表的最上面,因此越后添加的优先级越高。
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
conda config --set show_channel_urls yes
conda config --set auto_activate_base false
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
或者修改.condarc文件:
channels:
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
- defaults
show_channel_urls: true
auto_activate_base: false
PS: 这里的顺序最好一致,排在越上面的表示优先级越高,因此在安装pytorch的时候,会优先在第一个源仓库中去寻找。而gpu版本的pytorch也只有第一个仓库中含有。
conda恢复默认源的方法:
config --remove-key channels
conda config --set show_channel_urls yes
conda config --set auto_activate_base false
或移除清华源:
conda config --remove channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
或者修改.condarc文件:
channels:
- defaults
show_channel_urls: true
auto_activate_base: false
3. 新建python3.8环境
conda create -n torch python=3.8
并激活该环境,进入该环境后才能将pytorch安装在此环境中:
conda activate torch
4. 安装pytorch
安装cuda和cudnn按照这篇文章。
安装pytorch前需要查看本机的cuda版本:
nvcc -V
由图可知cuda版本为11.0.221
查看cudnn版本
whereis cudnn
找到相应的目录cat /usr/local/cudnn/include/cudnn_version.h | grep CUDNN_MAJOR -A 2
可知cudnn版本为8.1.1
如果未安装cuda和cudnn,也可以使用conda来安装,前提是conda源中含有相应的版本。
- 利用conda安装cuda和cudnn(根据显卡型号安装相应驱动)
conda install cudatoolkit=11.0.221
- 安装cudnn(如果没有安装cudnn,我们可以用conda安装,否则这一步不需要)
通过下面的网址可以知道cudnn与cuda版本对应关系:
https://developer.nvidia.com/rdp/cudnn-archive#a-collapse742-10
从 https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/linux-64/ 查看有无cuda版本对应的pytorch以及所需要的cudnn版本。
因此cudnn的版本最好为8.0.5
(但是我们这里选择了cudnn=8.1.1,原因是cudnn 8.1.1也支持cuda11.0,选择支持自己cuda版本的最新版本,向下兼容,见下图)
4.1 使用默认源安装pytorch
对应cuda版本11.0.221,我们找到了1.7.1版本的pytorch与之对应。
conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 cudatoolkit=11.0 -c pytorch
4.2 使用清华源安装pytorch
conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 cudatoolkit=11.0
4.3 指定channel安装pytorch
conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 cudatoolkit=11.0 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch
4.4 本地安装pytorch
这里用pytorch 1.7.1 cuda版本举例。
4.4.1 下载所需的安装包
从清华开源镜像中找到所需要的安装包:
使用wget下载对应的安装包
wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/linux-64/pytorch-1.7.1-py3.8_cuda11.0.221_cudnn8.0.5_0.tar.bz2
或者本地用迅雷下载资源(速度较快)[SCP指令部分]
然后通过scp指令上传到服务器:
scp /Users/username/Downloads/filename username@servername:/path
补充:多文件拷贝
scp /Users/username/filedir/filename1 filename2 filename3 username@servername:/path
PS:
scp使用密钥验证并上传文件到服务器:
scp -i 证书的绝对路径/证书.perm 路径/需要上传的文件 username@servername:/path
scp下载单文件指令:
scp username@servername:/path/filename /localdir(本地目录)
补充:
1. 多文件拷贝
scp username@servername:/path/\{filename1,filename2,filename3,filepre.* \} /localdir
2. scp默认连接的远端主机22端口,如果ssh不是使用标准的22端口(以222为例)则使用-P(P大写)指定:
scp -P 222 username@servername:/path/filename /localdir(本地目录)
scp下载目录文件指令:
scp -r username@servername:/var/www/remote_dir/(远程目录) /local_dir(本地目录)
scp上传目录文件指令:
scp -r local_dir username@servername:remote_dir
4.4.2 conda本地安装
下载完成后开始本地安装。
conda install --use-local pytorch-1.7.1-py3.8_cuda11.0.221_cudnn8.0.5_0.tar.bz2
测试时候会报错,原因是没有安装相关依赖:
提示说明缺少动态链接库文件,文件在mkl库中,需要另外安装。
安装所需要的依赖后即可:
conda install mkl
5. 测试pytorch是否安装成功
终端执行python,并输入以下命令:
import torch
print(torch.__version__, torch.cuda.is_available())
如果结果如下,则说明cuda版本的pytorch安装成功。
6. 安装pytorch_lightning
前提:安装的pytorch至少应该是1.7版本。
conda install pytorch-lightning