深度学习环境搭建常用网址、conda/pip命令行整理(pytorch、paddlepaddle等环境搭建)
前言:最近研究深度学习,安装了好多环境,记录一下,方便后续查阅。
1. Anaconda软件安装
1.1 Anaconda
Anaconda是一个用于科学计算的Python发行版,支持Linux、Mac、Windows,包含了众多流行的科学计算、数据分析的Python包。请自行到官网下载安装,下载速度太慢的话可移步清华源。
官网:https://repo.anaconda.com/archive/
清华源:https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/
1.2 Miniconda
Miniconda是一个Anaconda的轻量级替代,默认只包含了python和conda,但是可以通过pip和conda来安装所需要的包。
官网:https://docs.conda.io/en/latest/miniconda.html
清华源:https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/
2. Anaconda创建虚拟环境
2.1 创建新的虚拟环境
(1)一步完成搭建。需要注意的是要更换python版本,只能用conda命令
1 | conda create –n name python = 3.8 . 10 anaconda |
后边加anaconda命令选项(可选),在建立虚拟环境的同时,也会安装Jupyter Notebook、Numpy、Scipy、Matplotlib、Panda等python软件包。
(2)分步搭建
1 2 3 4 | # 该命令会创建一个空的conda虚拟环境,此时该环境中没有任何依赖包,只有conda命令可用 conda create –n name # 安装python环境,可以指定python版本,不带版本号则会默认安装最新版本 conda install python = = 3.6 . 2 |
2.2 启动/关闭环境
1 2 | conda activate name # 启动虚拟环境 conda deactivate # 关闭当前环境,退回到base |
注意:早期版本的anaconda,前边不需要加conda,直接activate name/deactivate即可。
2.3 删除环境
1 | conda remove - n name - all |
2.4 快速创建(复制其他环境)
1 | conda create - n name3 - - clone name |
2.5 环境重命名
1 2 | conda create - n name2 - clone name # 先copy当前环境 conda remove - n name - all # 再删除 |
2.6 将虚拟环境设置为本机当前python环境
安装完anaconda,默认本机python环境为base环境,可以通过修改环境变量PATH下边的路径,完成本机python环境的切换。
3. 查看和修改conda环境配置
3.1 查看虚拟环境
1 | conda info - e(或conda info - - envs或conda env list ) |
3.2 查看conda的config信息
1 | conda config - - show |
3.3 查看conda的channels信息
1 | conda config - - show channels |
3.4 移除某个channels
1 | conda config - - remove channels https: / / mirrors.tuna.tsinghua.edu.cn / anaconda / cloud / conda - forge / (这是清华维护的conda三方源之一的conda - forge的镜像,目前不一定能用) |
3.5 添加可用的清华源
1 2 3 | conda config - - add channels https: / / mirrors.tuna.tsinghua.edu.cn / anaconda / pkgs / free / conda config - - add channels https: / / mirrors.tuna.tsinghua.edu.cn / anaconda / pkgs / main / conda config - - set show_channel_urls yes(安装时显示channel的url) |
4. 查看电脑硬件信息
4.1 cuda版本
(1)进入NVIDIA控制面板查看
1 | nvidia - smi |
若报未找到命令,cmd进入目录C:\Program Files\NVIDIA Corporation\NVSMI再输入命令nvidia-smi,或者添加该目录到环境变量。
(2)命令行查看cuda版本
1 | nvcc - - version # 或者nvcc -V |
(3)python中查看cuda信息
1 2 3 4 5 6 7 | import torch # 查看cuda版本 torch.version.cuda # 返回cuda版本号,比如11.1 # 查看cuda是否可用 torch.cuda.is_available() # 查看可用cuda设备数 torch.cuda.device_count() |
4.2 cudnn版本
进入cuda安装目录打开cudnn_version.h查看(低版本没有cudnn_version.h,可在cudnn.h查看)
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.1\include\cudnn_version.h
也可以打开python,输入如下指令查看
1 2 | import torch torch.backends.cudnn.version() # 返回cudnn版本号,比如8005 |
4.3 cuda和显卡驱动版本对应关系
5. cuda和cudnn安装
cuda下载网址:https://developer.nvidia.cn/cuda-toolkit-archive
cudnn下载网址:https://developer.nvidia.cn/rdp/cudnn-archive
官网下载速度都很快,比较烦的是cudnn下载需要注册NVIDIA会员。建议花点时间注册一个,调参侠必备。
cuda安装这里不再赘述,一路默认安装到底即可。完成cuda安装后需要将cudnn中的bin、include和lib三个文件夹拷贝至cuda根目录下。另外记得添加环境变量,一般安装的时候都会默认添加。
一台设备可以同时安装任意多个cuda版本,可以通过修改环境变量来设置当前使用的cuda版本。环境变量中有三处与cuda有关的设置:
设置本机当前使用的cuda版本,只需要将PATH路径中对应版本的bin文件目录置前。和CUDA_PATH、NVCUDASAMPLES_ROOT路径无关。
6. PyTorch环境搭建
6.1 国内镜像源使用
(1)常见国内源镜像
1 2 3 4 5 6 7 8 9 10 | # 清华源 pip install pkgname - i https: / / pypi.tuna.tsinghua.edu.cn / simple # 豆瓣源 pip install pkgname - i https: / / pypi.douban.com / simple # 阿里源 pip install pkgname - i https: / / mirrors.aliyun.com / pypi / simple # 百度源 pip install pkgname - i https: / / mirror.baidu.com / pypi / simple # 中科大源 pip install pkgname - i https: / / pypi.mirrors.ustc.edu.cn / simple |
(2)临时使用源镜像下载
1 2 3 4 5 6 7 | # pip pip install - i https: / / pypi.tuna.tsinghua.edu.cn / simple pkgname pip install pkgname - i http: / / pypi.douban.com / simple / # conda conda install - c https: / / pypi.tuna.tsinghua.edu.cn / simple pkgname conda install pkgname - c http: / / pypi.douban.com / simple / |
6.2 PyTorch安装
官网下载地址:Start Locally | PyTorch、Previous PyTorch Versions | PyTorch
1 2 3 | conda install pytorch = = 1.11 . 0 torchvision = = 0.12 . 0 torchaudio = = 0.11 . 0 cudatoolkit = 11.3 - c pytorch ( - c pytorch表示从官网下载) pip install torch = = 1.11 . 0 + cu113 torchvision = = 0.12 . 0 + cu113 torchaudio = = 0.11 . 0 - - extra - index - url https: / / download.pytorch.org / whl / cu113 pip install torch = = 1.11 . 0 + cu113 torchvision = = 0.12 . 0 + cu113 torchaudio = = 0.11 . 0 –f http: / / download.pytorch.org / whl / torch_stable.html - - trusted - host download.pytorch.org(速度快) |
使用官方网址提供的命令可快速完成torch安装配置,但是官网只提供一些固定版本的torch和cuda组合。可以根据自己的硬件配置,在官方下载网址或其他网站先行下载torch、torchvison等安装包,然后将安装包copy到指定路径下,再用conda/pip命令安装。大多数安装包都是以wheel格式保存的whl文件(Wheel是Python发行版的标准内置包格式),可直接用pip安装。
1 | pip install cu101 / torch - 1.7 . 0 % 2Bcu101 - cp38 - cp38 - win_amd64.whl |
6.3 测试torch环境
1 2 3 4 5 | import torch as t t.__version__ # 成功则返回1.11.0+cu113 t.cuda.is_available() # 成功则返回True # 退出python编译环境: exit() # 或quit() |
7. PaddlePaddle环境搭建
7.1 CPU版PaddlePaddle
1 | conda install paddlepaddle = = 2.3 . 2 - - channel https: / / mirrors.tuna.tsinghua.edu.cn / anaconda / cloud / Paddle / |
7.2 GPU版PaddlePaddle
本人测试下来conda下载速度贼慢,pip很快,两种方式都可尝试下,怎么快怎么来。
1 2 | conda install paddlepaddle - gpu = = 2.3 . 2 cudatoolkit = 11.2 - c https: / / mirrors.tuna.tsinghua.edu.cn / anaconda / cloud / Paddle / - c conda - forge pip install paddlepaddle - gpu = = 2.3 . 2.post112 - f https: / / www.paddlepaddle.org.cn / whl / windows / mkl / avx / stable.html |
7.3 测试PaddlePaddle环境
1 2 | import paddle paddle.utils.run_check() |
电脑本地还没有安装cuda和cudnn,但也显示GPU版本PaddlePaddle已可用,有点奇怪,后边再训练个网络模型测试一下。
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 开源Multi-agent AI智能体框架aevatar.ai,欢迎大家贡献代码
· Manus重磅发布:全球首款通用AI代理技术深度解析与实战指南
· 被坑几百块钱后,我竟然真的恢复了删除的微信聊天记录!
· 没有Manus邀请码?试试免邀请码的MGX或者开源的OpenManus吧
· 园子的第一款AI主题卫衣上架——"HELLO! HOW CAN I ASSIST YOU TODAY