从拥有一个阿里云账号开始使用Maxcompute

本教程并不会创建子账户来管理maxcompute,是直接使用主账号来对maxcompute进行管理(强烈不推荐在生产环境中这样做!!)

Step1:创建阿里云账号并实名认证

​ 创建一个阿里云账号(使用支付宝注册登录即可),然后进行实名认证(选择个人认证即可)。

Step2:创建访问秘钥

​ Maxcompute产品需要登录,但是其登录并不是需要输入阿里云的账号密码,而是需要输入ID(相当于账号)和Secret(相当于密码)。进入https://ram.console.aliyun.com/manage/ak,创建AccessKey:

创建好AccessKey后,会弹出如下界面,记得将ID和Secret保存。因为查看Secret还需要发送手机验证码(还是挺麻烦的)。

Step3:创建Maxcompute项目

​ 创建Maxcompute项目首先需要创建Dataworks空间,进入https://workbench.data.aliyun.com/ 进行工作空间配置。我们可以把Dataworks理解为一个项目,而Maxcompute就是其中提供的一些功能。

  1. 在创建DataWorks工作空间时,需要选择地域,可以根据所在位置选择合适的region。如果提示该区域未开通,开通即可(可以选择基础版本,它是免费的)。

    需要注意,Maxcompute选择的区域需要和Dataworks一致

  1. 选择计算引擎

    计算引擎就是我们需要的服务,比如说Maxcompute、MapReduce等等。当然我们使用他们是需要付💰的。这里选择按量购买(大家可以根据自己的需求选择不同的服务)。

  1. 选择Maxcompute的付费方式

    如下图所示,点击购买后,它就会自动将Maxcompute项目创建好。当然,如果没有自动创建,而是回到了上一步,那我们选择Maxcompute,然后选择【按量付费】即可。

    需要注意,Maxcompute选择的区域需要和Dataworks一致

  1. Maxcompute创建成功

    进入https://workbench.data.aliyun.com/#/MCEngines 可以查看Maxcompute账号的一些情况,比如说项目名称、地域等等。

通过以上步骤我们便可以创建一个Maxcompute项目。

Step4:连接Maxcompute

连接Maxcompute有很多方法,这里我选择使用DataGrip中的MaxCompute插件来进行操作(IDEA中也有该插件),关于详细的使用可以参考官方文档:https://help.aliyun.com/document_detail/50889.html?spm=a2c4g.11186623.6.1042.340114bdY3uqBR。

  1. Maxcompute Studio连接

    输入Step2中创建的ID,Key以及项目名,即可创建。

  1. 创建表

    选择对应的数据库,右键即可创建table。

Step5:使用Maxcompute客户端

​ Maxcompute的配置无法使用Step4中的插件来进行配置,必须使用Maxcompute客户端(odpscmd)来进行配置:https://help.aliyun.com/document_detail/27971.html?spm=a2c4g.11186623.6.1040.671932aehWp0ix

在官方文档中下载客户端,然后进入config文件夹配置odps_config.ini文件,配置与Step4中配置一致。

Step6:运行客户端

在bin目录下有两个文件,根据自己的系统选择一个直接运行即可。

如果进入到下图,则代表已经进入到了Maxcompute中。具体命令可以参考:https://help.aliyun.com/document_detail/27971.html?spm=a2c4g.11186623.6.1040.429a271duTe59c

Step7:导入数据

导入数据可以参考https://help.aliyun.com/document_detail/27809.html。

Step8:Maxcompute配置

Maxcompute的常用命令可以参考:https://help.aliyun.com/document_detail/27827.html?spm=a2c4g.11186623.6.703.6ed758863duG80

例如:

show SecurityConfiguration; # 查看安全配置
set ProjectProtection=True/False; # 开启项目空间数据保护功能
setproject READ_TABLE_MAX_ROW=5999; # 设置READ_TABLE_MAX_ROW数量

Step9:删除Maxcompute

Maxcompute的删除无法在Maxcompute的项目管理中进行,而是需要删除Dataworks。进入https://workbench.data.aliyun.com/console#/projectlist即可进行删除。删除DataWorks空间后,Maxcompute也会被删除。

posted @ 2021-11-04 19:21  渣渣辉啊  阅读(583)  评论(0编辑  收藏  举报