随笔分类 - oozie

oozie fork join结点

摘要：oozie可以用fork和join节点进行多任务并行处理,同时fork和join也是同时出现,缺一不可. 语法: 官网给出的例子: 工作时写的: fork节点把任务切分成多个并行任务，join则合并多个并行任务。fork和join节点必须是成对出现的。join节点合并的任务，必须是通一个fork出来阅读全文

posted @ 2017-09-04 15:51 风景1573 阅读(2170) 评论(0) 推荐(0) 编辑

oozie 完整流程实例

摘要：Oozie概述： Oozie是一个基于Hadoop工作流引擎,也可以称为调度器,它以xml的形式写调度流程，可以调度mr，pig，hive，shell，jar，spark等等。在实际工作中，遇到对数据进行一连串的操作的时候很实用，不需要自己写一些处理代码了，只需要定义好各个action，然后把他们串阅读全文

posted @ 2017-09-04 10:20 风景1573 阅读(1039) 评论(0) 推荐(0) 编辑

oozie coordinator 定时调度

摘要：(本段内容摘自http://blog.sina.com.cn/s/blog_e699b42b0102xjqw.html Oozie总结行成于思的博客) Oozie提出了Coordinator的概念，它能够将每个工作流Job作为一个动作（Action）来运行，相当于工作流定义中的一个执行节点（我们可阅读全文

posted @ 2017-08-31 11:21 风景1573 阅读(967) 评论(0) 推荐(0) 编辑

oozie调用java实例------shell action

摘要：Oozie提供了一个方便的方式来运行任何命令。这可能是Unix命令，Perl或Python脚本，甚至java程序都可以通过Unix shell调用。shell命令运行在任意的Hadoop集群节点上，并且运行在结点上的命令必须保证可在本地可用。本地提交: 格式:java -cp 全类名(包名.类名) 阅读全文

posted @ 2017-08-30 16:57 风景1573 阅读(839) 评论(0) 推荐(0) 编辑

oozie调用java实例------Java action

摘要：Oozie支持Java action ,Java action 会自动执行workflow任务中制定的java类中的 public static void main(String[] args)方法,会在hadoop集群上以单mapper task的形式执行一个map-reduce job. wor 阅读全文

posted @ 2017-08-30 15:22 风景1573 阅读(3396) 评论(1) 推荐(0) 编辑

Oozie调用Spark实例

摘要：看了 http://www.cnblogs.com/en-heng/p/5531583.html 工作流引擎Oozie（一）：workflow 这篇博客后对本文做出如下修改: oozie调用spark有三样是必须有的: workflow.xml(不可改名) , job.properties(可改名) 阅读全文

posted @ 2017-08-29 11:33 风景1573 阅读(3434) 评论(0) 推荐(0) 编辑