摘要: 我们在上一篇文章中已经安装部署了Azkaban,但是启动的时候要去每个机器上执行一下命令。来回切换机器太麻烦,今天我们输出一个脚本,搞定自动启动停止。 1 登录到hadoop01上,在~/bin 目录下创建一个azkaban.sh脚本 [hadoop@hadoop01 ~] cd bin [hado 阅读全文
posted @ 2021-06-16 23:11 Tenic 阅读(903) 评论(0) 推荐(0) 编辑
摘要: Multiple Executor模式安装 前提:某节点已经安装mysql,此文档以hadoop02已经安装mysql为例 若没有特殊说明,所有操作都是使用hadoop普通用户操作 具体用到的安装包可以在这里下载:https://pan.baidu.com/s/1SfjBBvtyOIQ3-kIKVK 阅读全文
posted @ 2021-06-16 22:59 Tenic 阅读(56) 评论(0) 推荐(0) 编辑
摘要: 1.工作流调度器 1.为什么需要工作流调度系统 一个完整的数据分析系统通常都是由大量任务单元组成: shell脚本程序,java程序,mapreduce程序、hive脚本等 各任务单元之间存在时间先后及前后依赖关系 为了很好地组织起这样的复杂执行计划,需要一个工作流调度系统来调度执行; 例如,我们可 阅读全文
posted @ 2021-06-16 21:20 Tenic 阅读(122) 评论(0) 推荐(0) 编辑