【系统配置】Ubuntu和Windons系统安装配置深度学习环境

Ubuntu系统

1、备份

在服务器上整个装系统之前,需要做好一个工作,也就是相关重要数据的备份,这里主要是将固态中的数据备份到机械硬盘或移动硬盘里,可能在备份的过程中会遇到无法写入的问题,是因为文件夹的属性可能只读等原因,所以这里可能会用到改变所有者权限的命令:

sudo chmod -R 777 文件名

文件或目录的权限分为三种:只读(r)、只写(w)、可执行(x)。用户也分为三种:所有者、组、其他用户。
上述命令中的777分别指的是这三种用户,每一位里的7是指二进制的111,也就是赋予了所有用户可读可写可执行。-R:递归调用,也就是对一个文件夹或目录里的所有子文件都执行同样的操作。

2、制作启动盘

ubuntu官网下载ubuntu18.04系统:Ubuntu18.04
文件下载为iso文件(光盘镜像文件),也是一种压缩包,可以使用压缩工具打开。在linux下可以将其挂载到指定目录下,挂载在linux下使用很频繁,是将存储设备挂接到一个已存在的目录上(通常为空):

sudo mkdir /mnt/exa1   #创建一个目录,即挂载点
mount -o loop /home/matlab.iso /mnt/exa1  #将iso挂载到挂载点
#这时在 /mnt/exa1 下就有相应的安装文件,然后安装即可

在下载好ubuntu系统后,需要制作一个系统盘,使用一个空U盘,然后用UltralISO(软碟通)制作,选择写入硬盘映像即可,制作好一个U盘启动盘。

3、安装

安装过程较为简单,在电脑开机界面进入BIOS界面,然后设置启动优先级,将U盘启动器设置为第一项,然后保存重启,接着就开始进行系统安装,这时候跟着系统操作即可。注意整个系统安装的位置。详细可参考这篇博客:ubuntu的安装

4、远程桌面连接相关

sudo apt-get install xfce4     #一种ubuntu桌面,此外还有xubuntu,unity等
sudo apt-get install xrdp      #远程连接的开源工具
sudo apt-get install vnc4server 
sudo apt-get install tightvncserver #远程连接协议
sudo /etc/init.d/xrdp restart  #启动xrdp
echo xfce4-session >~/.xsession #写入桌面文件

以上执行完之后应该在windows下即可实现远程连接:win+r打开运行,然后输入mstsc,接着输入要连接的ip地址,如果不了解可以在要连接的电脑上命令:ifconfig查看。接着输入账号和密码即可连接。
如果出现连接不上或者蓝屏的情况,可以尝试卸载前面安装的相关工具然后重新执行。

sudo apt-get remove xfce4  xrdp  vnc4server tightvncserver

关于目录的说明:/ 代表的是根目录,linux下一切的目录都是从/开始的。
~代表的是当前用户的目录,比如lyx,可以用pwd查看,就是指/home/lyx 。所有的这些目录在最后都是没有/的。所以常见的比如说 ~/.bashrc 指的就是/home/lyx/.bashrc这个隐藏文件
而目录前是否有 / 代表的是相对路径和绝对路径的区别。比如在用户的主目录(lyx)下,有一个a的目录,cd a :可以进入,但是cd /a :没有那个文件或路径,原因就在于加了/后就从根目录开始查找。而根目录下根本没有a这个目录。所以一定要注意。综合:目录结尾有没有/无所谓,目录之前有没有/是相对路径和绝对路径的区别。
常用的命令:比如说在rm 或者cp整个文件夹的时候加上rm -r。查看隐藏文件命令行里:
ls-a(all)或者在相对应的文件夹下ctrl+h。查看ip:ifconfig

5、用户的管理

sudo adduser name    #添加新用户,接着按照提示执行即可
sudo userdel -r name #删除用户和其整个文件夹

设置用户的sudo权限:

sudo gedit /etc/sudoers   

然后在相应文件里添加 name ALL=(ALL:ALL) ALL,保存退出即可。
远程桌面连接相关:
ubuntu的桌面系统有很多种,比如说常见的gnome、xfce4、unity、xubuntu等。在ubuntu18.04中系统自带的是gnome3桌面,所以在上一步中,如果某位用户不习惯gnome3桌面,即可进行切换,在上面已经安装了xfce4,当然也可选择其他的桌面,只需要在自己的账户下
echo xfce4-session >~/.xsession,再次远程连接的时候就已经是xfce4桌面了,如果再想要变回之前的桌面,rm -r .xsession即可。注意每一套桌面系统只能在一个地方登录,如果在近程登录了自己的账号,那在远程的gnome3桌面中就无法再登录了,xfce4是可以的。

6、公网内的连接

在同一个局域网内的用户在上述设置完后即已经可以连接,但是,如果想在宿舍或者家里连接学校的服务器,就需要在公网内也可连接,有两个方法:1、使用Teamviewer进行连接:比较简单。2、使用Zerotier One,其是创建一个虚拟的局域网。以下为详细配置。
ubuntu下:

curl -s https://install.zerotier.com | sudo bash   #安装zerotier
sudo zerotier-cli join 你的network ID  #ubuntu加入网络

这个ID是要登录zerotier上分配的ID,登录zerotier账号即可看到。
这时需要登录账号,在未授权的设备前打对勾后取得授权。可以先修改其备注和描述,以防最后分不清楚。然后即可看到这个设备在这个“局域网”内的IP地址,这时候就可以使用mstsc在任何地方登录这个IP,但是前提是需要在自己笔记本上也进行配置。
有时会有连接不上

sudo zerotier-cli leave network    #离开网络
sudo zerotier-cli info  #网络信息

windows下:
在官网下载所需要安装包,然后按照提示进行安装,安装好之后运行,然后点击join networks。
之后输入network ID,接着和之前一样,在账号下进行授权,即可完成。
在这整个局域网内的用户是可以相互访问也就是可以远程连接的,只要知道了对方的IP并且两个都进行了zerotier的配置,则可以相互进行远程连接。

7、安装相关软件

Matlab
整体的安装过程可分为几步:
①建立挂载文件,建议在/home/username/temp下②安装③破解④启动及创建快捷方式
具体的可以参考这篇博客:安装matlab
其中也包含了创建桌面快捷方式的步骤。在最后一步,其他的应用程序也类似。
为了每次启动时不用转到相应目录下,添加环境变量:

sudo gedit /etc/profile

然后输入export PATH=/home/yan/share/usr/local/arm/3.4.1/bin:$PATH
然后使其生效:

source profile

profile是对所有用户生效,而.bashrc是对当前用户生效。
之后可以用echo $PATH进行测试
Pycharm
pycharm的安装直接在官网搜然后进行安装即可。
Anaconda
anaconda的安装也可从官网直接搜进行安装,都比较简单
创建桌面快捷方式:创建快捷方式

8、杂七杂八

将整个硬盘挂载到ubuntu所有用户名下,可参考这篇博客:硬盘挂载
挂载的时候一般挂载在/media/HardDisk上,格式设置为ext4。
以上过程有困惑也可参考这篇博客:
相关配置
1、如果系统的文件的命令行和文件系统都打不开的时候,可以将账户注销,注意不是重启,只是自己的账户注销。
2、如果系统的命令行可以打开,但是系统的文件系统打不开,可以再命令行里输入nautilus来打开文件管理器。
3、如果一个人的账号上不去,可以选择将其账号下的进场全部杀死:pkill -u name 注意这个命令会将该账户下所有进行着的进程全部杀死,vnc也会杀掉。

nvidia和cuda

1、Nvidia驱动

①、在安装了ubuntu系统后,一般需要安装所需要的nvidia驱动,首先需要查看电脑中的显卡信息:

lspci | grep -i vga

可能会返回数字代码,可以在这个网站根据数字代码查询到显卡型号
查询显卡
除此之外,也有一些查看系统基本信息的指令

uname -a #ubuntu系统基本信息和内核
gcc -v  #gcc编译器版本

②、安装(一般安装完成后需要重启)
@使用ubuntu标准仓库自动安装,或者使用命令行自动安装,两者是一致的。

sudo ubuntu-drivers autoinstall

@使用PPA仓库进行自动化安装
@使用官方的NVIDIA驱动进行手动安装、
一共这三种方法,具体的细节可以查看:
nvidia安装驱动
需要关闭图形化界面。

sudo service lightdm stop

具体可参考这篇文章ubuntu16.04安装nvidia驱动

2、Cuda的问题

①、检测nvidia是否安装正确

nvidia-smi    #可以看到已经安装好的nvidia驱动版本,并且可以在后面看到cuda版本,

注意那并不是代表着你已经安装好了cuda,而是说当前驱动程序支持到的最高版本的cuda就是该版本。

②、安装cuda。
官网下载自己的版本->安装(注意前面已经安装过了驱动,所以在选择的时候选择不再安装驱动)
->添加环境变量->测试是否安装成功。或者可以用

nvcc -V   #查看cuda版本

③、安装cudnn。
官网下载自己的版本->解压并复制->查看版本(对于较新的版本可能什么都没有打印)
具体可参考:
安装cudnn
④、使用深度学习模型
对于tensorflow和pytorch两种框架,无非就是为了深度学习的计算,所以肯定是需要cuda的。
对于上面我们已经安装了cuda和cudnn,接下来分别来说明tensorflow和pytorch
tensorflow:
对于tensorflow,之前我常用的安装方法是使用anaconda来直接进行安装,这也是最为简单的,因为在安装的过程中已经为你选择好了所匹配的cuda和cudnn:
tensorflow的测试代码:

import tensorflow as tf
print('GPU',tf.test.is_gpu_available())

pytorch:
同理pytorch也是一样的,可以直接用anaconda来进行安装。
pytorch的测试代码:

import torch
torch.cuda.is_gpu_available() 

关于nvidia官方提供的cuda和anaconda在安装深度学习框架时安装的cuda的区别具体可见此篇博客:cuda和anaconda的cuda
具体来讲就是Nvidia 官方提供的 CUDA Toolkit 是一个完整的工具安装包,其中提供了 Nvidia 驱动程序、开发 CUDA 程序相关的开发工具包等可供安装的选项。而anaconda只是安装了在此深度学习框架中可能会用到的cuda的相关功能,一般会满足需求。
注意在上述使用anaconda来进行安装的时候可以先查看可以安装的版本:

conda search pytorch

要注意看适合你自己python的版本,然后看是否带了cuda,可能会遇到冲突,冲突可能是因为找不到适合你的python的版本,也可能是因为你的环境里带了cuda,所以可能会产生冲突,可以conda list查看已安装的包,然后解决冲突。
pytorch的安装也可以直接使用官网的命令。会同时安装匹配好的cuda、pytorch和torchvision。同时,错误可能时因为目前打channel里根本搜索不到导致了冲突,我当时时参考这篇博客设置打镜像源,修改后就解决了问题。修改conda镜像源
这两种方法都可以。
注意:安装的时候不要只顾着一股脑的y,要看一下安装的过程中安装的包的源,安装的版本,安装的是cpu还是gpu,安装的带不带cuda,等等,安装包的过程中自己注意看一眼。

上述就是带了cuda的。而下面就是cpu的。

而且在安装的过程中系统会根据你已经安装好的python的版本去寻找满足你要求的包,如果实在找不到会提示找不到合适的包,这时候其实也可以在后面加上源然后安装:
-c channel #channel网址

Windows系统

1、制作PE系统
PE系统是在Windows下制作出来的一个临时紧急系统,当电脑无法正常启动时,可以通过PE系统修复电脑里的各种问题,比如删除顽固病毒,修复磁盘引导分区,给硬盘分区,数据备份,安装电脑系统等。
整体步骤:①下载PE系统。②安装PE系统到U盘。
注:安装完成后U盘内容为空文件,PE盘可以作为一个正常的U盘使用。
详细步骤:制作PE系统
2、安装windows系统
整体步骤:①下载系统所需文件。②将所需文件拷贝到PE系统盘里。③设置电脑从U盘启动,不同品牌的电脑有不同的方法,百度即可。④在PE系统里格式化并进行设置。⑤重启安装。⑥激活系统。
详细步骤:安装windows

posted @ 2020-12-12 19:07  Curryxin  阅读(309)  评论(0编辑  收藏  举报
Live2D