Apache Oozie
1. Apache Oozie
Oozie是一个工作流调度系统。Oozie是运行于Java Servlet容器上的一个java web应用。Oozie是按照有向无权图(DAG)调度方式,使用xml文件配置工作流。最初是由Cloudear公司开发,后来贡献给Apache
a. apache Oozie架构
- oozie的webapp:oozie的server
提供一个UI界面,接收客户点的提交的任务,提交给hadoop几圈,启动一个只有一个map没有reduce的mapreduce任务来调度工作的任务具体的执行,交给服务项。
b. 基本原理
采用xml配置工作流
- xml:workflow.xml 配置工作流的具体执行(有向无环图实现到配置文件)。
- job.properties:工作流的通用配置文件,执行参数信息。
将节点分为两类:
- 控制节点:描述工作流的走向 start end fork join kill
- 动作节点:具体执行任务的节点 包括不局限于:mr,java,hive,shell,spark等。
c. 工作流的类型
- workFlow:顺序执行流程节点,普通的工作流的调度,不涉及定时,不涉及批处理的工作流。
- coordinator:支持定时循环的调度任务
- bundle:即支持定时又支持批处理。
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步