从拥有一个阿里云账号开始使用Maxcompute
本教程并不会创建子账户来管理maxcompute,是直接使用主账号来对maxcompute进行管理(强烈不推荐在生产环境中这样做!!)
Step1:创建阿里云账号并实名认证
创建一个阿里云账号(使用支付宝注册登录即可),然后进行实名认证(选择个人认证即可)。
Step2:创建访问秘钥
Maxcompute产品需要登录,但是其登录并不是需要输入阿里云的账号密码,而是需要输入ID(相当于账号)和Secret(相当于密码)。进入https://ram.console.aliyun.com/manage/ak,创建AccessKey:
创建好AccessKey后,会弹出如下界面,记得将ID和Secret保存。因为查看Secret还需要发送手机验证码(还是挺麻烦的)。
Step3:创建Maxcompute项目
创建Maxcompute项目首先需要创建Dataworks空间,进入https://workbench.data.aliyun.com/ 进行工作空间配置。我们可以把Dataworks理解为一个项目,而Maxcompute就是其中提供的一些功能。
-
在创建DataWorks工作空间时,需要选择地域,可以根据所在位置选择合适的region。如果提示该区域未开通,开通即可(可以选择基础版本,它是免费的)。
需要注意,Maxcompute选择的区域需要和Dataworks一致
-
选择计算引擎
计算引擎就是我们需要的服务,比如说Maxcompute、MapReduce等等。当然我们使用他们是需要付💰的。这里选择按量购买(大家可以根据自己的需求选择不同的服务)。
-
选择Maxcompute的付费方式
如下图所示,点击购买后,它就会自动将Maxcompute项目创建好。当然,如果没有自动创建,而是回到了上一步,那我们选择Maxcompute,然后选择【按量付费】即可。
需要注意,Maxcompute选择的区域需要和Dataworks一致
-
Maxcompute创建成功
进入https://workbench.data.aliyun.com/#/MCEngines 可以查看Maxcompute账号的一些情况,比如说项目名称、地域等等。
通过以上步骤我们便可以创建一个Maxcompute项目。
Step4:连接Maxcompute
连接Maxcompute有很多方法,这里我选择使用DataGrip中的MaxCompute插件来进行操作(IDEA中也有该插件),关于详细的使用可以参考官方文档:https://help.aliyun.com/document_detail/50889.html?spm=a2c4g.11186623.6.1042.340114bdY3uqBR。
-
Maxcompute Studio连接
输入Step2中创建的ID,Key以及项目名,即可创建。
-
创建表
选择对应的数据库,右键即可创建table。
Step5:使用Maxcompute客户端
Maxcompute的配置无法使用Step4中的插件来进行配置,必须使用Maxcompute客户端(odpscmd)来进行配置:https://help.aliyun.com/document_detail/27971.html?spm=a2c4g.11186623.6.1040.671932aehWp0ix
在官方文档中下载客户端,然后进入config文件夹配置odps_config.ini文件,配置与Step4中配置一致。
Step6:运行客户端
在bin目录下有两个文件,根据自己的系统选择一个直接运行即可。
如果进入到下图,则代表已经进入到了Maxcompute中。具体命令可以参考:https://help.aliyun.com/document_detail/27971.html?spm=a2c4g.11186623.6.1040.429a271duTe59c
Step7:导入数据
导入数据可以参考https://help.aliyun.com/document_detail/27809.html。
Step8:Maxcompute配置
Maxcompute的常用命令可以参考:https://help.aliyun.com/document_detail/27827.html?spm=a2c4g.11186623.6.703.6ed758863duG80
例如:
show SecurityConfiguration; # 查看安全配置
set ProjectProtection=True/False; # 开启项目空间数据保护功能
setproject READ_TABLE_MAX_ROW=5999; # 设置READ_TABLE_MAX_ROW数量
Step9:删除Maxcompute
Maxcompute的删除无法在Maxcompute的项目管理中进行,而是需要删除Dataworks。进入https://workbench.data.aliyun.com/console#/projectlist即可进行删除。删除DataWorks空间后,Maxcompute也会被删除。