Oozie — What Why and How

  • Oozie是什么?

Oozie最初是Yahoo!为Hadoop开发的一个工作流调度器,一个工作流有多个Job组成。它允许用户提交由多个Job组成的工作流配置文件,这些Job既可以顺序执行,也可以并行执行,还可以配置其中的Job定时执行、出错重新执行等。

Oozie提供了Java Client API和Web Service API以及命令行接口,使用简单。

现在是Apache的一个开源项目。

  • 为什么使用Oozie?

主要是为了更方便、自由的使用Hadoop,提交作业。

对一个集群中每天有大量左右需要提交执行的情况来说,使用Oozie管理这些Job很方便。

另外一点就是,如果有Job执行出错,可以配置Oozie重新执行这些Job。

  • 如何使用Oozie?
    1. 首先需要执行的Job的配置写入workflow.xml,配置中需要指明每个Job的输入文件、输出文件、输出Reader、输出Writer、Mapper、Reducer、Job的执行参数
    2. 然后提交这个xml文件
    3. 配置workflow的property (指明Name Node、JobTraker、job执行过程中所使用的jar包的location)

关于oozie的更多信息,请参考:
http://yahoo.github.com/oozie/
http://yahoo.github.com/oozie/releases/3.1.0/
http://incubator.apache.org/oozie

--------------
本文地址:http://nourlcn.ownlinux.net/2011/11/oozie-what-why-and-how.html

https://twitter.com/nourlcn

2011-11-20

posted on 2013-12-11 02:53  小风吹雪  阅读(487)  评论(0编辑  收藏  举报