侧边栏

FusionInsight大数据开发---Oozie应用开发

Oozie应用开发

要求:

  1. 了解Oozie应用开发适用场景
  2. 掌握Oozie应用开发
  3. 熟悉并使用Oozie常用API

Oozie简介

  1. Oozie是一个Hadoop作业的工作流调度管理系统
  2. Oozie工作流(workflow)是放置在控制依赖DAG(有向无环图)中的一组动作(Action)集合,控制依赖可确保后续操作在见面的操作已经成功完成后才会启动。
  3. Oozie的协调作业(Coordinator)是通过时间(频率)和有效数据来触发当前的Oozie工作流。
  4. Oozie支持多种Hadoop作业(包括:HDFS,Map Reduce、Hive、Streaming MP、Loader、Spark、Distcp)以及系统类作业(Java和shell)

Oozie应用场景
Oozie是一个工作流调度引擎,对各种类型的Hadoop作业进行编排与调度。

    1. 编排与管理逻辑复杂的多种类型的Hadoop
    2. 基于时间(频率)触发工作流
    3. 基于数据有效性触发工作流
    4. 实时监控与管理集群的工作流,快速定位问题
posted @ 2019-07-28 16:04  菜鸟-传奇  阅读(293)  评论(0编辑  收藏  举报