linux安装anaconda和pytorch
1. 安装anaconda
1. 查看自己linux的版本
uname -a
2. 到网站下载对应的版本
https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/
wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-2020.02-Linux-x86_64.sh
3. 安装
bash Anaconda3-2020.02-Linux-x86_64.sh
在安装过程中会显示配置路径
Prefix=/home/lzf/anaconda3/
4.修改配置文件
cd 到etc文件下,并用vim打开profile
cd /etc
sudo vim profile
选择直接编辑E
在最后一行添加
export PATH=/home/lzf/anaconda3/bin:$PATH
点击esc,输入:wq保存并退出
如果没有权限就修改/home/username/
目录下的.profile
文件,使用ls -a
可以查找到。
5.安装完成
输入conda -V
显示版本号则安装成功
切换python
alias python="/home/lzf/anaconda3/bin/python3.7"
6.添加清华大学镜像
conda config --add channels http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
conda config --remove channels defaults
conda config --set show_channel_urls yes
查看镜像
conda config --show channels
移除镜像
conda config --remove-key channels
7.安装gdal等其它包
sudo add-apt-repository ppa:ubuntugis/ppa && sudo apt-get update
sudo apt-get update
sudo apt-get install gdal-bin
sudo apt-get install libgdal-dev
export CPLUS_INCLUDE_PATH=/usr/include/gdal
export C_INCLUDE_PATH=/usr/include/gdal
pip install gdal==3.0.4 -i http://pypi.douban.com/simple --trusted-host pypi.douban.com
2.安装显卡驱动
1.查看电脑的显卡型号
lspci | grep -i nvidia
或者使用
ubuntu-drivers devices
显卡型号为Tesla K80,推荐安装的版本号是:nvidia-driver-470-server - distro non-free
2. 自动安装推荐版本
sudo ubuntu-drivers autoinstall
3.手动安装显卡驱动
1.禁用原Nouveau驱动
sudo vim /etc/modprobe.d/blacklist-nouveau.conf
在文件最后加入以下内容
blacklist nouveau
options nouveau modeset=0
更新并重启
update-initramfs -u
sudo reboot
检查是否禁用成功
lspci | grep nouveau
没有输出则说明安装成功
2.安装 gcc/cmake
sudo apt-get install build-essential
sudo apt-get install cmake
检查是否安装成功:
gcc --version
make --version
有版本号显示说明安装成功。
2.下载驱动
网址:https://www.nvidia.com/Download/index.aspx
3.安装 NVIDIA 显卡依赖
sudo dpkg --add-architecture i386
sudo apt update
sudo apt install build-essential libc6:i386
3.安装
1.进入终端模式
同时按住 Ctrl+Alt+F3 进入 tty 终端模式,然后关闭显示管理
service lightdm stop
2.到下载目录下并安装
cd /home/lzf/桌面/pxh/CNN_RNN # 此处的目录为你下载的驱动文件所在目录
sudo sh NVIDIA-Linux-x86_64-470.161.03.run
一直默认即可
3.如果本身有无法使用的驱动则需要卸载
卸载驱动:
sudo /usr/bin/nvidia-uninstall
卸载相应模块:
rmmod nvidia_uvm
如果报错:rmmod: ERROR: Module nvidia_uvm is in use
需要查看并结束相应模块:
lsof /dev/nvidia*
kill -9 PID
sudo reboot
重启
4.检查安装结果
重启机器后,输入 nvidia-smi
证明安装成功,可以看到匹配的CUDA版本最高为11.4
3.安装CUDA
1.查看Nvidia显卡驱动对应的CUDA版本
网站: https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html
2.下载CUDA
网站:https://developer.nvidia.com/cuda-toolkit-archive
选择11.3.0版本,安装时间为2021.11.04,pytorch官网有这个版本
进一步根据自己的电脑选择
使用给出的代码下载wget https://developer.download.nvidia.com/compute/cuda/11.3.0/local_installers/cuda_11.3.0_465.19.01_linux.run
3.安装CUDA
cd到目录下,执行sh cuda_10.0.130_410.48_linux.run --override
,根据提示:
1 输入 accept 接受条款
2 输入n不安装nvidia图像驱动,之前已经安装过了 //此处一定要选择n
3 输入y安装cuda 11.3工具
4 回车确认cuda默认安装路径:/usr/local/cuda-11.3
5 输入y或者n安装或者不安装指向/usr/local/cuda的符号链接
6 输入y安装CUDA 10.0 Samples,以便后面测试
7 回车确认CUDA 10.0 Samples默认安装路径:
安装完成
4.添加环境变量
vim ~/.bashrc
在末尾添加
export CUDA_HOME=/usr/local/cuda-11.3
export LD_LIBRARY_PATH=/usr/local/cuda-11.3/lib64:$LD_LIBRARY_PATH
export PATH=/usr/local/cuda-11.3/bin:$PATH
5.测试是否安装成功
cd /usr/local/cuda-11.3/samples/1_Utilities/deviceQuery
sudo make
sudo ./deviceQuery
如果输出类似于下图的一堆东西(图片截自网络,本人安装过程中没用截屏),最后返回result==PASS说明CUDA安装配置成功。
6.卸载cuda
sudo apt-get --purge remove cuda-11.3
sudo apt autoremove
sudo apt-get autoclean
sudo rm -rf /usr/local/cuda-11.3/
4.安装cuDNN
1.下载cuDNN
网址:https://developer.nvidia.com/rdp/cudnn-archive
没用11.3,这里下载了11.x发现也可以用
进一步选择
可能需要注册登录
2.安装cuDNN
cd到目录下,解压文件tar -zxvf cudnn-11.3-linux-x64-v8.2.1.32.tgz
3.拷贝文件
需要将cuda/include/cudnn.h和cuda/lib64/libcudnn*拷贝到之前安装的cuda的文件夹下:
sudo cp cuda/include/cudnn.h /usr/local/cuda/include
sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64
4.卸载cuDNN
sudo rm -rf /usr/local/cuda/include/cudnn.h
sudo rm -rf /usr/local/cuda/lib64/libcudnn*
5.安装pytorch
1. 网站:https://pytorch.org/
2. 查看CUDA版本
nvcc --version
3. 选择pytorch版本
运行代码,去掉 -c pytorch,否则不会从清华源下载
conda install pytorch torchvision torchaudio cudatoolkit=10.1
4.测试
python
import torch
print(torch.cuda.is_available()) # 返回true表示pytorch安装完成
5.一些错误的解决方案
1. 段错误 (核心已转储)
ulimit -s 102400
2. 长期没使用内核版本改变,使用代码
sudo sed -i 's/5.11.0-46/5.8.0-43/g' /boot/grub/grub.cfg
将新的5.11.0-46内核切换为原来的5.8.0-43
也可以禁止正在使用的内核更更新
sudo apt-mark hold linux-image-5.8.0-43-generic
sudo apt-mark hold linux-modules-extra-5.8.0-43-generic
解除禁止
sudo apt-mark unhold linux-image-5.8.0-43-generic
sudo apt-mark unhold linux-modules-extra-5.8.0-43-generic
3. 安装显卡驱动报错
ERROR:Unable to find the kernel source tree for the currently running kernel. Please make sure you have installed the kernel source files for your kernel and that they are properly configured on Red Hat Linux system, for exzmple ,be sure you have the 'kernel-source' or 'kernel-devel' RPM installed .If you know the correct kernel source files are installed ,you may specify the kernel source path with the '--kernel-source-path' command line option.
使用代码
sudo apt-get install build-essential xserver-xorg-dev pkg-config linux-headers-
uname -r`
解决