摘要: 1 参数类型综述 azkaban的工作流中的参数可以分为如下几个类型: Azkaban UI 页面输入参数 环境变量参数 job作业文件中定义的参数 工作流的用户定义的属性文件,上游作业传递给下游的参数 工作流运行时产生的系统参数 job的common参数 参数类型与其对应的参数范围如下: 参数类型 阅读全文
posted @ 2020-04-23 10:45 hyunbar 阅读(1357) 评论(0) 推荐(0) 编辑
摘要: 1.1 为什么需要工作流调度系统 1)一个完整的数据分析系统通常都是由大量任务单元组成: shell 脚本程序,java 程序,mapreduce 程序、hive 脚本等。2)各任务单元之间存在时间先后及前后依赖关系。3)为了很好地组织起这样的复杂执行计划,需要一个工作流调度系统来调度执行。 例如, 阅读全文
posted @ 2020-04-23 10:40 hyunbar 阅读(3000) 评论(0) 推荐(0) 编辑