mac google cloud ml-engine配置

深度学习没有GPU是一个硬伤,好在业界良心谷歌提供了300美元的优惠券可以在谷歌云平台使用。

本文主要介绍谷歌云平台中machine learning engine的配置和使用。

ml-engine有以下优点:

  • 不需要开启、关闭虚拟机,只需要将作业提交到谷歌服务器上,根据价格选择不同的gpu运行自己的模型,相比一台虚拟机安装特定gpu驱动,利用ml-engine可以根据任务无缝切换gpu的型号,这也是我从谷歌虚拟机切换到ml-engine的主要原因,毕竟之前安装的gpu太慢了,再重新配置一个gpu实在麻烦
  • 其他的优点等待在使用中陆续发现……

 参考官方文档:https://cloud.google.com/ml-engine/docs/tensorflow/getting-started-training-prediction

1. python版本

如果是python 3 需要安装python 2.7

用anaconda的虚拟环境安装python 2.7版本

conda create --name py27 python=2.7

激活虚拟环境

source activate py27

安装依赖包

pip install numpy scipy scikit-image

安装tensorflow 1.2.1 这个版本不是用来跑代码的,是用来之后把代码提交到google cloud运行前检查语法的。

pip install tensorflow==1.2.1

2. 安装google cloud sdk

https://www.youtube.com/watch?v=EdNWgZ4cOWo

3. google账户与sdk连接

https://www.youtube.com/watch?v=OMaQYQ5tk4M  ( 需要能直接访问外网才行)

谷歌也提供了通过服务器设置(vpn)的版本。

 

storage region的选择可以参考:https://cloud.google.com/ml-engine/docs/tensorflow/regions

4. 

5. keras 的tutorial

https://www.youtube.com/watch?v=VxnHf-FfWKY

 

https://cloud.tencent.com/developer/article/1006057

https://blog.csdn.net/weixin_43063942/article/details/82081878

https://www.cnblogs.com/duwenlu/p/8704258.html

https://blog.gcp.expert/google-cloud-automl-ml-engine-ml-api/

http://liufuyang.github.io/2017/04/02/just-another-tensorflow-beginner-guide-4.html

https://stackoverflow.com/questions/41959318/deploying-keras-models-via-google-cloud-ml/44232441#44232441

posted @ 2019-01-02 15:27  流沙沙  阅读(217)  评论(0编辑  收藏  举报