摘要:
我们在上一篇文章中已经安装部署了Azkaban,但是启动的时候要去每个机器上执行一下命令。来回切换机器太麻烦,今天我们输出一个脚本,搞定自动启动停止。 1 登录到hadoop01上,在~/bin 目录下创建一个azkaban.sh脚本 [hadoop@hadoop01 ~] cd bin [hado 阅读全文
摘要:
Multiple Executor模式安装 前提:某节点已经安装mysql,此文档以hadoop02已经安装mysql为例 若没有特殊说明,所有操作都是使用hadoop普通用户操作 具体用到的安装包可以在这里下载:https://pan.baidu.com/s/1SfjBBvtyOIQ3-kIKVK 阅读全文
摘要:
1.工作流调度器 1.为什么需要工作流调度系统 一个完整的数据分析系统通常都是由大量任务单元组成: shell脚本程序,java程序,mapreduce程序、hive脚本等 各任务单元之间存在时间先后及前后依赖关系 为了很好地组织起这样的复杂执行计划,需要一个工作流调度系统来调度执行; 例如,我们可 阅读全文