DataWorks入门

阿里云有很多成熟的云产品（萌新认知），我自己只用过腾讯云的对象存储，对这类云产品不是特别了解。

有幸参与到大数据相关的项目，跟着学了点工具的使用方法，非常简单，也了解了一些使用大数据分析问题的流程。

参考资料

　　官方文档->点击跳转

　　在使用之前肯定需要有账号巴拉巴拉什么的，根据官方文档来就好了。

临时查询

　　临时查询可以写点类似sql的语句查查东西，建建表啥的。

　　使用过程：临时查询->右键新建-新建节点-ODPS SQL->写语句->运行语句

　　　　　　　这里的SQL不是正经的SQL，他们自己有一个规范，具体参考官方文档->点击跳转

CREATE TABLE test111 (
    ID int COMMENT 'id'
    ,NAME STRING COMMENT '姓名'
) COMMENT '测试表111'

SELECT name
    ,age
    ,tel
FROM test_jey
WHERE age = 20

DROP TABLE 表名  --删表
TRUNCATE TABLE 表名  --清空表

 

　　这里使用的是按需版，select花钱，按数据的量算钱，最低一分，执行之前会告诉费用，可以不运行。包月的就随便查。

　　在下方可以看到日志和查询结果，在左边的运行历史也可以看到语句、日志和结果。

建表

　　非常简单，可以写语句(选择DDL模式里面写语句)，也可以在页面上点点点来建表（个人比较喜欢）。

　　数据开发->带+号的图标->表（或者 表管理->带+号的图标）->表名->表结构信息->提交到生产环境

 

业务流程

　　以下为萌新理解：

　　　　对大数据的分析肯定很复杂，不是连几个表查询查询就能解决的事情。在这里可以把你想实现的运算按步骤一个节点一个节点写出来，有个可视化的节点，有利于整理思路，不至于写着写着就懵了（比如我这种小可爱）

　　左边有很多可以拖拽的东西。第一个数据集成的数据同步，数据同步的功能就是将数据从这里导出到别的数据源（各种数据库、自己的、阿里的，很多种，oracle好像比较费劲），或者将其他数据源的数据导入这里。下面绿色的就是可以用各种语言来算点东西，想用哪个用哪个。

　　同时，这里的每一步工作都可以定时来做（右侧-调度配置）。因为大数据项目基本都不是死数据，都是逐渐增加的，所以分析也要经常更新。可以设置每年/月/日/小时/分钟运行。

 

函数列表

　　给了一些可以用的函数（在sql语句中使用），非常方便，也可以自定义函数。