FusionInsight大数据开发---Oozie应用开发
Oozie应用开发
要求:
- 了解Oozie应用开发适用场景
- 掌握Oozie应用开发
- 熟悉并使用Oozie常用API
Oozie简介
- Oozie是一个Hadoop作业的工作流调度管理系统
- Oozie工作流(workflow)是放置在控制依赖DAG(有向无环图)中的一组动作(Action)集合,控制依赖可确保后续操作在见面的操作已经成功完成后才会启动。
- Oozie的协调作业(Coordinator)是通过时间(频率)和有效数据来触发当前的Oozie工作流。
- Oozie支持多种Hadoop作业(包括:HDFS,Map Reduce、Hive、Streaming MP、Loader、Spark、Distcp)以及系统类作业(Java和shell)
Oozie应用场景
Oozie是一个工作流调度引擎,对各种类型的Hadoop作业进行编排与调度。
- 编排与管理逻辑复杂的多种类型的Hadoop
- 基于时间(频率)触发工作流
- 基于数据有效性触发工作流
- 实时监控与管理集群的工作流,快速定位问题
愿路途漫长,以后莫失莫忘。 愿你不骄不躁,安稳顺心。
作者:菜鸟-传奇
本文版权归作者和博客园共有,重在学习交流,不以任何盈利为目的,欢迎转载。
敲敲小黑板:《刑法》第二百八十五条 【非法侵入计算机信息系统罪;非法获取计算机信息系统数据、非法控制计算机信息系统罪】违反国家规定,侵入国家事务、国防建设、尖端科学技术领域的计算机信息系统的,处三年以下有期徒刑或者拘役。违反国家规定,侵入前款规定以外的计算机信息系统或者采用其他技术手段,获取该计算机信息系统中存储、处理或者传输的数据,或者对该计算机信息系统实施非法控制,情节严重的,处三年以下有期徒刑或者拘役,并处或者单处罚金;情节特别严重的,处三年以上七年以下有期徒刑,并处罚金。