2017年9月4日
摘要: oozie可以用fork和join节点进行多任务并行处理,同时fork和join也是同时出现,缺一不可. 语法: 官网给出的例子: 工作时写的: fork节点把任务切分成多个并行任务,join则合并多个并行任务。fork和join节点必须是成对出现的。join节点合并的任务,必须是通一个fork出来 阅读全文
posted @ 2017-09-04 15:51 风景1573 阅读(2162) 评论(0) 推荐(0) 编辑
摘要: Oozie概述: Oozie是一个基于Hadoop工作流引擎,也可以称为调度器,它以xml的形式写调度流程,可以调度mr,pig,hive,shell,jar,spark等等。在实际工作中,遇到对数据进行一连串的操作的时候很实用,不需要自己写一些处理代码了,只需要定义好各个action,然后把他们串 阅读全文
posted @ 2017-09-04 10:20 风景1573 阅读(1016) 评论(0) 推荐(0) 编辑