Linux-非Root用户-配置深度学习环境
1 简介
- Anaconda:是一个开源的Python发行版本，其包含了conda、Python等软件包，numpy，pandas，scipy等科学计算包.
- Conda:包管理器, venv+pip的作用，也就是虚拟环境+包管理。
- Nvidia: 显卡制造商。
- 显卡:承担输出显示图形的任务。
- GPU:图形处理器,是显卡内部的处理器,
- cuda:Nvidia推出的运算平台,用于并行计算的框架,使GPU能够解决负责的计算问题。
- cudnn: 针对深度卷积神经网络的加速库
- 显卡驱动: 可以调用GPU并行计算能力的驱动程序
2 前言
- 图片中的实例路径为文件夹以sl示例，实际操作中更改为本人用户。
- 数据和软件存放建议存放于 /data/用户 ,小文件可以存放于 /home/用户,通过df -h命令可以查看磁盘使用情况，data下共有3.6T可用。
- 实际操作通过第四台服务器为例
- 建议使用MobaXterm连接服务器:具体信息请参考
3 Anaconda 安装
- Anaconda下载
-
上传安装包到服务器
通过MobaXterm工具可以快速将刚才下载的安装包上传到服务器中
-
Anaconda安装: 新建一个soft文件夹用于存放下载的软件文件
- 可视化界面中右键可以创建新文件夹(也可以使用mkdir命令),我的软件安装文件都存在/home/sl/soft中,数据和软件都存在/data/sl/中
- MobaXterm重新连接服务器,这时候命令输入前多了一个base,说明conda已经在环境变量中，可以使用conda命令。
- 查看已安装的包
- 其中看到Python版本
4 配置虚拟环境
１．创建虚拟环境
2. 虚拟环境中安装第三方包
- 方法一:conda install package_name
- 方法二:pip安装,例如安装opencv
5 安装PyTorch
- 官网选择对应命令
- 在虚拟环境中安装
- 注意: 使用conda命令安装PyTorch会自动安装对应cuda版本
cuda版本与显卡驱动版本对应
如果不需要使用ncvv命令，安装PyTorch或者tenserflow后也可以使用GPU加速。
6 配置cuda
方法1 使用Root下Cuda
- 查看cuda是否安装,-> 没有安装
- 查找Root下cuda安装位置
- 配置自己用户下的环境变量,使用MobaXterm工具可以双击打开文件编辑器
- 复制以下内容到文件末端
# cuda
export CUDA_HOME=/usr/local/cuda-10.0
export LD_LIBRARY_PATH=/usr/local/cuda-10.0/lib64:$LD_LIBRARY_PATH
export PATH=/usr/local/cuda-10.0/bin:$PATH
# cuda
- 关闭MobaTextEditor后会询问是否保存到服务器，选择保存。
- 查看结果
至此，已经完成了基本环境的配置，已经可以正常使用GPU计算资源。
方法2 非Root用户安装cuda
- 回到base环境中
- 查看Linux信息,并记住这些信息
- CUDA下载地址
- 下载完成
- 安装过程
- 取消其他安装项目，只安装CUDA Toolkit
- 进入options,修改Toolkit Options
- 修改Library install path
- 完成后安装
- 安装成功显示
- 更改环境变量使用新安装的10.2版本,一下内容添加到.bashrc
# cuda
export CUDA_HOME=/data/sl/cuda-10.2
export LD_LIBRARY_PATH=/data/sl/cuda-10.2/lib/lib64:$LD_LIBRARY_PATH
export PATH=/data/sl/cuda-10.2/bin:$PATH
# cuda
- 使用source ~/.bashrc命令刷新配置文件,或重新登录服务器
7 配置cudnn
- 注册一个Nvidia账户
- 下载对应版本
- 右键复制下载地址，然后在服务器中下载
- 下载完成
-
解压下载包
下载后文件名很长的后缀的话，先修改文件名为xx.tgz
-
cudnn安装
- 按照自己目录复制文件
- 修改对应权限
参考
