Google Colab 免费GPU 教程
Google Colab 免费GPU 教程
近日google的交互式工具Colaboratory推出GPU支持的版本,支持免费的Tesla K80,可以使用Keras、Tensorflow和Pytorch等前端。
Google Colab是谷歌开源的一款类似jupyter的交互式工具,交互式的使用一系列库。要使用免费的GPU 我们接下来就一步步开始学习如何使用。
1.首先在Google Drive建立一个文件夹
Colab工作在Google Drive上,我们首先需要新建一个文件夹随后在文件夹中新建一个Colaboratory环境,并设置成自己喜欢的名字;
2.设置免费的GPU环境
我们需要在Edit下选择Notebook settings中选择相应的python版本和硬件(Hardware Accelerator)就可以将GPU 设置成默认的运行硬件;
3.这时候就可以利用配置好的Colab进行python代码的计算啦,例如下面的一些简单python代码,左边的小按钮可以方便的运行代码;
4.配置依赖库运行环境,这一步我们要安装必要的库并配置环境,文章中为我们提供了代码可以直接运行:
!apt-get install -y -qq software-properties-common python-software-properties module-init-tools
!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null
!apt-get update -qq 2>&1 > /dev/null
!apt-get -y install -qq google-drive-ocamlfuse fuse
from google.colab import auth
auth.authenticate_user()
from oauth2client.client import GoogleCredentials
creds = GoogleCredentials.get_application_default()
import getpass
!google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URL
vcode = getpass.getpass()
!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}
5.运行代码后会得到下面的输出,将下面的验证码输入后进行授权:
6.挂载到你的Google Drive:
!mkdir -p drive
!google-drive-ocamlfuse drive
!pip install -q keras //安装Keras
这个时候就可以GPU环境就搭建好了。这时候你就可以运行一些好玩的例子了
7.可以上传一个mnist_cnn.py的文件,这时候就可以运行这个python文件,
!python3 drive/app/mnist_cnn.py
这一代码同时会下载对应的数据,并运行训练算法;
8.一些有用的建议
1.如何安装库
安装keras:
!pip install -q keras
import keras
安装PyTorch:
!pip install -q http://download.pytorch.org/whl/cu75/torch-0.2.0.post3-cp27-cp27mu-manylinux1_x86_64.whl torchvision
import torch
安装Opencv:
!apt-get -qq install -y libsm6 libxext6 && pip install -q -U opencv-python
import cv2
安装XGBoost:
!pip install -q xgboost==0.4a30
import xgboost
安装图形库GraphViz
!apt-get -qq install -y graphviz && pip install -q pydot
import pydot
安装解压工具7zip Reader
!apt-get -qq install -y libarchive-dev && pip install -q -U libarchive
import libarchive
安装其他的工具包使用下面的命令:
!pip install or !apt-get install
想要安装的包
2.查看GPU是否在工作呢?
这时候需要用到tensorflow的命令
import tensorflow as tf
tf.test.gpu_device_name()
对应不同的设备你就会看到不同的显示:
目前Colab只提供Tesla K80 GPU,你同时可以利用下面的指令来查看:
from tensorflow.python.client import device_lib
device_lib.list_local_devices()
能显示出你的所有使用的硬件;
3、运行中的信息显示
我们还需要查看内存信息或者CPU信息,可以使用下面的命令:
内存:!cat /proc/meminfo
处理器:!cat /proc/cpuinfo
写在最后:
Colab真是给各位AI的小伙伴带来了极为便利的研究环境,不仅有着十分友好的交互界面,同时还有着GPU的支持,以后做科研妈妈再也不担心我没有GPU用了!
快去注册个账号开始使用吧:
https://research.google.com/colaborator
原文:
https://medium.com/deep-learning-turkey/google-colab-free-gpu-tutorial-e113627b9f5d
Update:
还有一个称为floydhub的GPU云有空也可试试 https://www.floydhub.com/