大数据上云第一课:(1)MaxCompute授权和外表操作躲坑指南
一、子账号创建、AK信息绑定
如果您是第一次使用子账号登录数加平台和使用DataWorks,需要确认以下信息:
- 该子账号所属主账号的企业别名。
- 该子账号的用户名和密码。
- 该子账号的AccessKey ID和AccessKey Secret。
- 确认主账号已经允许子账号启用控制台登录。
- 确认主账号已经允许子账号自主管理AccessKey。
1、子账号创建
(1)创建子账号
(2)绑定AK信息
(3)DataWorks给定角色
(1)使用阿里云账号(主账号)登录RAM控制台。
(2)在左侧导航栏的人员管理菜单下,单击用户。
(3)单击新建用户。
(4)输入登录名称和显示名称。
(5)在访问方式区域下,选择控制台密码登录。
(6)单击确认。
2、创建RAM子账号的访问密钥
访问密钥对开发人员在DataWorks中创建的任务顺利运行非常重要,该密钥区别于登录时填写的账号和密码,主要用于在阿里云各产品间互相认证使用权限。因此主账号需要为子账号创建AccessKey。创建成功后,请尽可能保证AccessKey ID和AccessKey Secret的安全,切勿让他人知晓,一旦有泄漏的风险,请及时禁用和更新。运行密钥AK包括AccessKey ID和AccessKey Secret两部分。如果云账号允许RAM用户自主管理AccessKey,RAM用户也可以自行创建AccessKey。
为子账号创建AccessKey的操作如下所示。
(1)在左侧导航栏的人员管理菜单下,单击用户。
(2)在用户登录名称/显示名称列表下,单击目标RAM用户名称。
(3)在用户AccessKey 区域下,单击创建新的AccessKey。
(4)单击确认。
3、给RAM子账号授权
如果您需要让子账号能够创建DataWorks工作空间,需要给子账号授予AliyunDataWorksFullAccess权限。
(1)在左侧导航栏的人员管理菜单下,单击用户。
(2)在用户登录名称/显示名称列表下,找到目标RAM用户。
(3)单击添加权限,被授权主体会自动填入。
(4)在左侧权限策略名称列表下,单击需要授予RAM用户的权限策略。
(5)单击确定。
(6)单击完成。
二、子账号生产环境创建函数、访问资源授权,OSS外部表授权
1、账号生产环境创建函数、访问资源授权
子账号登录DataWorks控制台之后,单击工作空间管理,成员管理给该子账号一个相应的角色。各角色对应的权限可以在工作空间管理界面的权限列表查看。此处添加的成员角色对生产环境是隔离的。下面介绍一下生产环境创建函数、访问资源授权。
(1)创建一个新的角色,给角色授权。
(2)创建UDF函数。
前提条件是已经上传1818.jar包。资源上传结合搬站第一课视频。
2、OSS访问授权
MaxCompute需要直接访问OSS的数据,前提是需要您将OSS的数据相关权限赋给MaxCompute的访问账号。如果没有进行相应授权创,创建外部表会发现报错如下:
此时需要我们授权去访问OSS
授权方式有两种:
(1)当MaxCompute和OSS的Owner是同一个账号时,可以直接登录阿里云账号后,单击此处完成一键授权。一键授权,我们可以在访问控制给改子账号添加管理对象存储服务(OSS)权限(AliyunOSSFullAccess)。
(2)自定义授权
a.新增一个RAM角色oss-admin
b.修改角色策略内容设置
c.授予角色访问OSS必要的权限AliyunODPSRolePolicy
d.将权限AliyunODPSRolePolicy授权给该角色。
三、OSS外部表创建指引
1、外部表创建的语法格式介绍
(1)外部表创建示例:
(2)LOCATION说明
LOCATION必须指定一个OSS目录,默认系统会读取这个目录下所有的文件。
建议您使用OSS提供的内网域名,否则将产生OSS流量费用。
访问OSS外部表,目前不支持使用外网Endpoint。
目前STORE AS单个文件大小不能超过3G,如果文件过大,建议split拆分。
建议您OSS数据存放的区域对应您开通MaxCompute的区域。由于MaxCompute只有在部分区域部署,我们不承诺跨区域的数据连通性。
(3)外部表创建格式说明
语法格式与Hive的语法相当接近,但需注意以下问题。
(4)用Arn、AK两种认证方式建外表示例
a.用RAM中具体使用的Role的Arn的信息创建外部表
当关联OSS权限使用STS模式授权时,需要该参数指定odps.properties.rolearn属性,属性值为RAM中具体使用的Role的Arn的信息。
示例如下:
b.明文AK创建外部表(不推荐使用这种方式)
如果不使用STS模式授权,则无需指定odps.properties.rolearn属性,直接在Location传入明文AccessKeyId和AccessKeySecret。
Location如果关联OSS,需使用明文AK,写法如下所示。
示例如下:
2、创建 Rcfile 类型的外部表
(1)查询HIVE表schema
结果如下:
(2)在MaxCompute创建外部表
(3)添加分区
(4)查询数据
3、创建Json类型的外部表
(1)创建Json类型的外部表
(2)在对应的OSS控制台bucket上传Json文件数据。
(3)查询外部表的数据
报错信息如下所示:
解决办法:需要设置开启hive兼容的flag。
重新查询数据即可正确返回Json数据。
以下是在Hive中查询的数据,可以看到这两处数据是一致的。
4、创建CSV格式的外部表
(1)创建CSV格式的外部表
(2)查询数据
不加Hive兼容的flag设置会发现有如下报错信息:
5、创建压缩格式的外部表
创建外部表时列分隔符需要使用field.delim。选择delimiter会报错或数据没有按照预期的分割符去分割。以下分别按照两种方式去创建外部表。
需要设置以下说明的属性flag。
(1)创建外部表
查询数据的时候会发现数据并没有按照我们的分隔符去进行分割,如下图所示:
6、创建存在新数据类型的外部表
当外部表创建字段涉及新数据类型时,需要开启新类型flag。
否则会报如下错误:
四、利用Information Schema元数据查看project、table的操作行为以及费用计算
1、主账号安装package
开始使用前,需要以Project Owner身份安装Information Schema的权限包,获得访问本项目元数据的权限。
以下错误是没有安装对应的Information Schema的权限包和子账号没有相关的权限
安装Information Schema的权限包方式有如下两种:
(1)在MaxCompute命令行工具(odpscmd)中执行如下命令。
(2)在DataWorks中的数据开发 > 临时查询中执行如下语句。
2、给子账号授权
3、查询元数据信息
TASKS_HISTORY字段列信息如下:
![](https://oscimg.oschina.net/oscnet/up-561b4999641c01245cf5f8dcc554aefef8d.png)
4、通过 TASKS_HISTORY 计算SQL费用
SQL任务按量计费:您每执行一条SQL作业,MaxCompute将根据该作业的输入数据及该SQL的复杂度进行计费。该费用在SQL执行完成后产生,并在第二天做一次性的计费结算。
计算输入数据量:指一条SQL语句实际扫描的数据量,大部分的SQL语句有分区过滤和列裁剪,所以一般情况下这个值会远小于源表数据大小。
在 information_schema.tasks_history中字段input_bytes为实际扫描的数据量也就是我们的计算输入数据量。字段complexity为sql复杂度。所以我们可以根据以下公式来计算SQL费用。
本文作者:刘-建伟
本文为阿里云内容,未经允许不得转载。