深度学习环境配置(pytorch和tensorflow对应的gpu版本环境的兼容):cuda11.2 + cudnn8.1.0 + tensorflow=2.5.0,tensorflow-gpu=2.5.0 + pytorch1.10.0(cu113) + torch-geometric(图神经网络库)
配置结果:
Anaconda2019[python3.7.3]+cuda11.2 + cudnn8.1.0 + tensorflow=2.5.0,tensorflow-gpu=2.5.0(tf25虚拟环境,python3.7.3)+pytorch1.10.0(cu113) + torch-geometric(PYG100虚拟环境,python3.7.13,两个环境及两个环境的python版本不同都是为了防止两个深度学习库对numpy等库的要求不同所以用两个虚拟环境) 【Pytorch直接安装11.3版本的就可以。pytorch自带cuda包,不需要和你电脑的cuda一致,只需要你驱动能够兼容11.3。我的驱动是NVIDIA11.6,如下图所示,必然兼容11.3的,放心安装就可以了】
ref:
- whl库下载地址
- Anaconda清华大学镜像下载
- Anaconda3-2019.07-Windows-x86_64.exe个人保存链接,提取码:1234
- Pycharm2021版专业版下载破解,提取码:1234
- Pycharm2021版专业版下载破解个人总结教程
- cuda下载链接
- cudnn下载链接
- GEFORCE® 驱动程序下载
- tensorflow版本与cuda,cudnn对应关系
- pytorch安装官方网址
- torch-geometric
- torch1.8.1+cu101对应的torch-geometric的torch-scatter、torch-sparse、torch-cluster和torch-spline-conv四个库下载地址
- tensorflow 安装GPU版本,CUDA与cuDNN版本对应关系,RTX3050Ti
- Win10安装GPU版本的Tensorflow 2.1
- Could not load dynamic library ‘cublas64_10.dll‘; dlerror: cublas64_10.dll not found
- Could not load dynamic library cublas64_10.dll
- FAILED TO QUERY EVENT :CUDA_ERROR_LAUNCH_FAILED:UNSPECIFIED LAUNCH FAILURE
前言
Anaconda2019[python3.7.3] +cuda11.2 + cudnn8.1.0 + tensorflow=2.5.0,tensorflow-gpu=2.5.0(tf25虚拟环境,python3.7.3)+pytorch1.10.0(cu113) + torch-geometric(PYG100虚拟环境,python3.7.13,两个环境及两个环境的python版本不同都是为了防止两个深度学习库对numpy等库的要求不同所以用两个虚拟环境) 【Pytorch直接安装11.3版本的就可以。pytorch自带cuda包,不需要和你电脑的cuda一致,只需要你驱动能够兼容11.3。我的驱动是NVIDIA11.6,必然兼容11.3的,放心安装就可以了】
安装Tensorflow-gpu 与 keras的时候,一定先要注意版本的对应,不然很容易出错,在看的时候,建议先看完整篇文章再上手。
30系列的显卡只支持11.X的cuda,所以我这里安装11.X系列的cuda对应的tensorflow,如下图所示:
零、Anaconda下载安装(个人推荐下载安装Anaconda3-2019.07-Windows-x86_64.exe)
可以从Anaconda清华大学镜像下载寻找对应的版本下载,也可以从下载我已经下载好的百度云里下载:
链接:https://pan.baidu.com/s/11-iU1mLmrHVC-3zP0Uiy7Q 提取码:1234
然后正常安装就好:
接下来最好安装Pycharm,参考如下两个链接:
Pycharm2021版专业版下载破解,提取码:1234
Pycharm2021版专业版下载破解个人总结教程
一、环境+配置
本机环境
显卡:RTX3070
Windows10专业版
NVIDIA 511.65
网上查到的可行版本(跟本人所使用的有所偏差)
python3.7.3+CUDA11.2+cuDNN8.1.0+tensorflow2.5.0+Keras2.5.0
本人所安装CUDA、CUDNN、tensorflow-gpu、keras 版本
cuda_11.2
cudnn_8.1.0
tensorflow-gpu 2.5.0
keras 2.5.0
即最终本人所用环境为
python3.7.3 + CUDA 11.2 + cuDNN 8.1.0 + tensorflow 2.5.0 + Keras 2.5.0
tensorflow与CUDA、cuDNN关系查询
https://tensorflow.google.cn/install/source_windows?hl=en#gpu
CUDA版本选择
NVIDIA 与CUDA的版本对应关系
参照表格选择
首先,在桌面【右键】-打开【NVIDIA 控制面板】-选择【帮助】-【系统信息】,再打开的系统信息中选择【组件】,即可看到本机GPU对应支持的CUDA版本:
组件3D设置重点NVCUDA64.DDL 后面的产品名称
或者可以在终端输入命令nvidia-smi查看GPU驱动版本
但是这不代表你已经安装的cuda11.6,这只是说明他支持安装到11.6版本的cuda,你装11.2版本的cuda也是支持的
CUDA版本选择
NVIDIA 与CUDA的版本对应关系
根据CUDA的版本进行安装,下载压缩包版本
二、安装教程(cuda11.2 + cudnn8.1.0 + tensorflow)
2.1 CUDA 11.2安装
从 cuda下载链接里找到最新的cuda11.2下载下来
双击cuda_11.2_XXX_windows.exe,进入安装程序:
这里是临时选择临时提取的文件夹,不用管直接ok:
提取完毕,程序会检查兼容性:
选择【同意并继续】,选择【自定义】安装:
在CUDA中取消勾选Visual Studio Integration,这是VS的插件,容易导致安装失败,我因为用pycharm所以就不勾选了
后面还有三个选项。NVIDIA GeForce Experience 是显卡驱动程序,如果你已经更新了显卡驱动版本,就不用选了,因为每个CUDA版本里面都含显卡驱动程序,如果你每次都选相当于每次更新显卡驱动版本。Other components 是声卡等设备驱动程序,我电脑有装了,不用选,最后一个也是。(大家可自己根据自身情况)
然后选择安装路径,点击安装,本地版的很快,在线版的需要联网下载安装,慢些。
等待安装完毕,可以检查是否安装成功,在终端键入命令nvcc -V,查看CUDA版本,能显示则成功了。
2.2 CUDNN安装
cuDNN下载好后解压,把里面的三个文件夹的内容分别移到CUDA安装目录里对应的同名文件夹里面。其中include和bin文件夹可以直接移动,lib文件夹内容要移动到lib\x64目录下
然后复制到CUDA的安装路径即可,我的是C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6(注意!不是覆盖,是添加进去对应的文件夹里面去)
lib 是存在 lib/x64 里面
最后,配置下系统环境即可:
右键【此电脑】又名计算机—【属性】—【高级系统设置】-【环境变量】-下半部分【系统变量】里找到【Path】,双击打开(或者点编辑)
补全如下环境变量,如果你之前安装成功了CUDA,2、3条环境是系统已经自动添加了的。
2.3 在新的虚拟环境里安装tensorflow=2.5.0,tensorflow-gpu=2.5.0
查看环境
conda env list
创建环境(例子为创建一个叫做tf25,python版本3.7.3的环境)
conda create -n tf25 python=3.7.3
删除环境(例子为删除名为tf25的环境)
conda remove -n tf25 --all
激活环境(例子为激活名为tf25的环境)
conda activate tf25
退出环境
conda deactivate
2.4安装tensorflow:
先进入tf25虚拟环境里:
conda activate tf25
再安装tensorflow(2.5.0),tensorflow-gpu(2.5.0)
pip install --default-timeout=100 -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow==2.5.0
pip install --default-timeout=100 -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow-gpu==2.5.0
或者:
pip install --user --default-timeout=100 -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow==2.5.0
pip install --user --default-timeout=100 -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow-gpu==2.5.0
2.5 常见问题1 Could not load dynamic library ‘cublas64_10.dll‘; dlerror: cublas64_10.dll not found
在使用tensorflow连接本地GPU时报错
2022-02-22 14:57:36.226466: I tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library cudart64_101.dll
2022-02-22 14:57:36.227912: W tensorflow/stream_executor/platform/default/dso_loader.cc:55] Could not load dynamic library 'cublas64_10.dll'; dlerror: cublas64_10.dll not found
2022-02-22 14:57:36.233442: I tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library cufft64_10.dll
2022-02-22 14:57:36.234755: I tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library curand64_10.dll
2022-02-22 14:57:36.236105: W tensorflow/stream_executor/platform/default/dso_loader.cc:55] Could not load dynamic library 'cusolver64_10.dll'; dlerror: cusolver64_10.dll not found
2022-02-22 14:57:36.237345: W tensorflow/stream_executor/platform/default/dso_loader.cc:55] Could not load dynamic library 'cusparse64_10.dll'; dlerror: cusparse64_10.dll not found
2022-02-22 14:57:36.238582: W tensorflow/stream_executor/platform/default/dso_loader.cc:55] Could not load dynamic library 'cudnn64_7.dll'; dlerror: cudnn64_7.dll not found
2022-02-22 14:57:36.238659: W tensorflow/core/common_runtime/gpu/gpu_device.cc:1598] Cannot dlopen some GPU libraries. Please make sure the missing libraries mentioned above are installed properly if you would like to use GPU. Follow the guide at https://www.tensorflow.org/install/gpu for how to download and setup the required libraries for your platform.
Skipping registering GPU devices...
dll文件 + cudnn64_7.dll放网盘了,自取:
链接:https://pan.baidu.com/s/1TFM7pX62Qu5TLANiZHkzrA 提取码:1234
下载好后放在C:\Windows\System32,然后就成功了!
2022-02-22 15:19:01.152638: I tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library cudart64_101.dll
2022-02-22 15:19:01.159782: I tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library cublas64_10.dll
2022-02-22 15:19:01.164852: I tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library cufft64_10.dll
2022-02-22 15:19:01.166054: I tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library curand64_10.dll
2022-02-22 15:19:01.241219: I tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library cusolver64_10.dll
2022-02-22 15:19:01.242896: I tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library cusparse64_10.dll
2022-02-22 15:19:01.243409: I tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library cudnn64_7.dll
2022-02-22 15:19:01.243525: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1703] Adding visible gpu devices: 0
2.6 常见问题2 FAILED TO QUERY EVENT :CUDA_ERROR_LAUNCH_FAILED:UNSPECIFIED LAUNCH FAILURE
服务器上没有资源了,在本地win10下运行程序,报错:
failed to query event :CUDA_ERROR_LAUNCH_FAILED:unspecified launch failure
查了一下,这种错误代码没问题,问题出在windows,是运行时间过长,可以再运行几次试试,如果还报同样的错误可以参考博客解决办法:window登录管理员用户,打开NSIGHT ,设置option的Microsoft display driver 的WDDM TDR enable为False即可,因为该选项导致kernel运行时间超过指定值会中断。
三、pytoch + torch-geometric 安装教程
3.1创建虚拟环境
查看环境
conda env list
创建环境(例子为创建一个叫做PYG100,python版本3.7.13的环境)
conda create -n PYG100 python=3.7.13
删除环境(例子为删除名为PYG100的环境)
conda remove -n PYG100 --all
激活环境(例子为激活名为PYG100的环境)
conda activate PYG100
退出环境
conda deactivate
3.2安装pytorch:
先进入PYG100虚拟环境里:
conda activate PYG100
再安装pytorch(1.10.0)
# CUDA 11.3
conda install pytorch==1.10.0 torchvision==0.11.0 torchaudio==0.10.0 cudatoolkit=11.3 -c pytorch -c conda-forge
至此如果不搞图神经网络,就不需要进行3.3的安装,就已经实现了tensorflow-gpu和pytorch-gpu的安装配置了
3.3 安装torch-geometric(依赖于pytorch的一个图神经网络库)
3.3.1 新版本pytorch,通过命令直接安装
首先打开torch-geommetric的官网torch-geommetric
先进入PYG100虚拟环境里:
conda activate PYG100
,按下图可以直接生成安装命令在anaconda终端安装即可。
老版本的Pytorch,通过下面方法手动安装
如果你的版本是PyTorch 1.4.0、PyTorch 1.5.0、PyTorch 1.6.0、PyTorch 1.7.0/1.7.1、PyTorch 1.8.0/1.8.1 和 PyTorch 1.9.0 提供了旧版本的二进制文件(遵循相同的过程 )。 对于旧版本,您需要明确指定支持的最新版本号,以防止从源代码手动安装。 您可以在此处查找最新支持的版本号
下面给出了pytorch1.8.1,cuda10.1对应的torch-geometric安装方法:
下载torch1.8.1+cu111对应的torch-geometric的torch-scatter、torch-sparse、torch-cluster和torch-spline-conv四个库.
可以从torch1.8.1+cu101对应的torch-geometric的torch-scatter、torch-sparse、torch-cluster和torch-spline-conv四个库下载地址自己找相应的下载
也可以从下面本人已经下载好的链接里提取
链接:https://pan.baidu.com/s/1DFyLYuOYBfpswlpbYodg2g 提取码:1234
总之下载好四个.whl文件(假如我的下载文件位置在C:\Users\chuqianyu\Desktop\torch_geometric)后。通过anaconda终端进入桌面(cd 加文件夹路径):
cd C:\Users\chuqianyu\Desktop\torch_geometric
然后通过 pip install 来安装对应的whl库,如我要安装aiohttp-3.8.1-cp37-cp37m-win_amd64.whl这个whl库,我事先已经放到了C:\Users\chuqianyu\Desktop\torch_geometric文件夹里了:
pip install aiohttp-3.8.1-cp37-cp37m-win_amd64.whl
上面都是练手基本操作,下面开始正式安装torch-geometric,一定要严格按顺序执行下面的每一行安装代码才行
也可以参考torch-geometric首页的3,4步骤
pip install torch_scatter-2.0.7-cp37-cp37m-win_amd64.whl
pip install torch_sparse-0.6.9-cp37-cp37m-win_amd64.whl
pip install torch-geometric
pip install torch_cluster-1.5.9-cp37-cp37m-win_amd64.whl
pip install torch_spline_conv-1.2.1-cp37-cp37m-win_amd64.whl
执行上面语句的前提是你已经进入了下载好的四个库所在的文件夹,对于我的电脑,文件夹就是C:\Users\chuqianyu\Desktop\torch_geometric
通过在anaconda终端输入cd C:\Users\chuqianyu\Desktop\torch_geometric进入文件夹,再执行上面5条命令安装torch-geometric
至此就完成了所有的安装
Anaconda2019[python3.7.3]+cuda11.2 + cudnn8.1.0 + tensorflow=2.5.0,tensorflow-gpu=2.5.0(tf25虚拟环境,python3.7.3)+pytorch1.10.0(cu113) + torch-geometric(PYG100虚拟环境,python3.7.13,两个环境及两个环境的python版本不同都是为了防止两个深度学习库对numpy等库的要求不同所以用两个虚拟环境) 【Pytorch直接安装11.3版本的就可以。pytorch自带cuda包,不需要和你电脑的cuda一致,只需要你驱动能够兼容11.3。我的驱动是NVIDIA11.6,必然兼容11.3的,放心安装就可以了】
转载请注明出处
作者:楚千羽
出处:https://www.cnblogs.com/chuqianyu/
本文来自博客园,本文作者:楚千羽,转载请注明原文链接:https://www.cnblogs.com/chuqianyu/p/16365060.html
本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须在文章页面给出原文连接,否则保留追究法律责任的权利!