2017 年 8月随笔档案 - 风景1573

08 2017 档案

摘要：(本段内容摘自http://blog.sina.com.cn/s/blog_e699b42b0102xjqw.html Oozie总结行成于思的博客) Oozie提出了Coordinator的概念，它能够将每个工作流Job作为一个动作（Action）来运行，相当于工作流定义中的一个执行节点（我们可阅读全文

posted @ 2017-08-31 11:21 风景1573 阅读(967) 评论(0) 推荐(0) 编辑

oozie调用java实例------shell action

摘要：Oozie提供了一个方便的方式来运行任何命令。这可能是Unix命令，Perl或Python脚本，甚至java程序都可以通过Unix shell调用。shell命令运行在任意的Hadoop集群节点上，并且运行在结点上的命令必须保证可在本地可用。本地提交: 格式:java -cp 全类名(包名.类名) 阅读全文

posted @ 2017-08-30 16:57 风景1573 阅读(839) 评论(0) 推荐(0) 编辑

oozie调用java实例------Java action

摘要：Oozie支持Java action ,Java action 会自动执行workflow任务中制定的java类中的 public static void main(String[] args)方法,会在hadoop集群上以单mapper task的形式执行一个map-reduce job. wor 阅读全文

posted @ 2017-08-30 15:22 风景1573 阅读(3396) 评论(1) 推荐(0) 编辑

Oozie调用Spark实例

摘要：看了 http://www.cnblogs.com/en-heng/p/5531583.html 工作流引擎Oozie（一）：workflow 这篇博客后对本文做出如下修改: oozie调用spark有三样是必须有的: workflow.xml(不可改名) , job.properties(可改名) 阅读全文

posted @ 2017-08-29 11:33 风景1573 阅读(3434) 评论(0) 推荐(0) 编辑