配置google cloud
自己的笔记本跑CNN感觉要炸了,于是想到配置个谷歌云,还有300刀的免费额度(最好绑定visa信用卡,据说用银联会付几十美金去激活才可以用),至少可以写完论文了吧。
于是开始摸索,在网上找了一些教程,然后发现其实配置谷歌云服务器做深度学习,就是先在谷歌里创建一个实例(可以理解为一个主机),然后装一个Xshell让自己的电脑可以远程控制这台主机,然后接下来的工作就像我们自己装电脑一样,给自己创建的实例装驱动、装自己需要的软件……
先说自己的配置:
1个CPU
6.5GB内存
100GB的磁盘
1个GPU,型号是 NVIDIA Tesla K80
操作系统是 Ubuntu 16.04 LIS
关于这些的选择,主要是为了学生党为了省钱,如果经费充足可以自己往上加啦,谷歌会在页面提示配置需要多少钱的。
操作系统最好选择主流的操作系统,刚开始没注意选了18.04,导致装驱动的时候直接用教程里的下载链接给装错了,折腾了很久,主流的操作系统可以找到很多别人的成功案例,方便借鉴。
以及python版本的安装不要安装太新太前卫的版本,本人刚开始没注意撞了3.7,等到要装tensorflow的时候才发现不兼容,装不进去,只能卸载了重装,来来回回折腾了很久。。
整个流程主要参考简书 https://www.jianshu.com/p/893d622d1b5a?tdsourcetag=s_pctim_aiomsg
这篇文章真的写的很好很详细
其中GPU型号与我选择的不一样,安装GPU驱动的时候需要特别注意一下
创建实例
具体流程参考以下两个链接,讲的都很详细。
https://www.jianshu.com/p/893d622d1b5a?tdsourcetag=s_pctim_aiomsg
https://zhuanlan.zhihu.com/p/26419429
创建ssh
还是参考简书的这篇,写的真的很赞
https://www.jianshu.com/p/893d622d1b5a?tdsourcetag=s_pctim_aiomsg
关于其中提到的如何设置外部IP可以看这个补充资料
如何设置外部IP
安装GPU驱动
依次输入以下命令:
curl -O http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/cuda-repo-ubuntu1604_9.0.176-1_amd64.deb
sudo dpkg -i cuda-repo-ubuntu1604_9.0.176-1_amd64.deb
sudo apt-key adv --fetch-keys http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/7fa2af80.pub
sudo apt-get update
sudo apt-get install cuda-9-0
以上参考https://cloud.google.com/compute/docs/gpus/add-gpus#verify-driver-install
用 nvidia-smi 测试是否安装成功
安装cuDNN7.1
wget https://s3.amazonaws.com/open-source-william-falcon/cudnn-9.0-linux-x64-v7.1.tgz
sudo tar -xzvf cudnn-9.0-linux-x64-v7.1.tgz
sudo cp cuda/include/cudnn.h /usr/local/cuda/include
sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64
sudo chmod a+r /usr/local/cuda/include/cudnn.h /usr/local/cuda/lib64/libcudnn*
export LD_LIBRARY_PATH="$LD_LIBRARY_PATH:/usr/local/cuda/lib64:/usr/local/cuda/extras/CUPTI/lib64"
export CUDA_HOME=/usr/local/cuda
export PATH="$PATH:/usr/local/cuda/bin"
source ~/.bashrc
以上参考https://github.com/williamFalcon/tensorflow-gpu-install-ubuntu-16.04
装anaconda
一定不要装python 3.7
tensorflow截止目前2018.10.18还不支持
wget https://repo.anaconda.com/archive/Anaconda3-5.2.0-Linux-x86_64.sh
bash Anaconda3-5.2.0-Linux-x86_64.sh
source ~/.bashrc
装tensorflow
pip install tensorflow_gpu==1.10
出现msgpack错误则:
pip install msgpack
指定keras 2.2.0版本与tensorflow 1.10兼容
pip install keras==2.2.0
文件的下载和上传
sudo apt-get install lrzsz
在xshell 输入rz回车即可弹出输入文件框找到要传到Linux的文件确定即可
要是Linux传出到windows 在linux xshell输入sz空格 说要发送的文件回车即可