随笔分类 - Azkaban（第三方工作流）与Oozie（Hadoop内置工作流）、hadoop工作流（概念学习和搭建系列）
摘要：不多说，直接上干货！ 为此，需要第三方框架。如Azkaban或Oozie! Azkaban https://azkaban.github.io/ 具体，见我的博客，Azkaban概念学习系列。http://www.cnblogs.com/zlslch/category/938837.html Azk
阅读全文
摘要：不多说，直接上干货！ 这只是部分，做个引子。 未完，待续！
阅读全文
摘要：不多说，直接上干货！ Hadoop的ChainMapper和ChainReducer使用案例（链式处理） 什么是ChainMapper/ChainReducer？
阅读全文
摘要：工作流（Workflow），指“业务过程的部分或整体在计算机应用环境下的自动化”。是对工作流程及其各操作步骤之间业务规则的抽象、概括描述。在计算机中，工作流属于计算机支持的协同工作（CSCW）的一部分。后者是普遍地研究一个群体如何在计算机的帮助下实现协同工作的。 什么是工作流--JBPM？ 推荐一篇
阅读全文
摘要：不多说，这里，直接上干货！从这篇博客起，逐步分享如下： 1、工作流 2、Hadoop工作流（内置） 3、第三方框架--Azkaban（推荐外安装）
阅读全文
摘要：不多说，直接上干货！ Hadoop的MR作业支持链式处理，类似在一个生产牛奶的流水线上，每一个阶段都有特定的任务要处理，比如提供牛奶盒，装入牛奶，封盒，打印出厂日期，等等，通过这样进一步的分工，从而提高了生产效率，那么在我们的Hadoop的MapReduce中也是如此，支持链式的处理方式，这些Map
阅读全文
摘要：不多说，直接上干货！ http://www.cnblogs.com/zlslch/category/938837.html Azkaban是什么? Azkaban是一套简单的任务调度服务，整体包括三部分webserver、dbserver、executorserver。 是linkin的开源项目，开
阅读全文
摘要：不多说，直接上干货！ 首先，大家先去看我这篇博客。对于Oozie的安装有一个全新的认识。 Oozie安装的说明 我这里呢，本篇博文定位于手动来安装Oozie，同时避免Apache版本的繁琐编译安装，直接使用CDH版本，已经编译好的oozie-4.1.0-cdh5.5.4.tar.gz。 如果，你要使
阅读全文
摘要：不多说，直接干货！ Oozie相当于Hadoop的一个客户端，因此集群中要有一台机器部署Oozie server端即可，由于可以有任意多个客户端连接Oozie，故每个客户端都必须部署Oozie client。 比如我的机器有hadoopmaster、hadoopslave1、hadoopslave2
阅读全文
摘要：Oozie的架构图，如下： 从oozie的架构图中，可以看到所有的任务都是通过oozie生成相应的任务客户端，并通过任务客户端来提交相应的任务。 继续。。。
阅读全文
摘要：Oozie的作用： 1、统一调度hadoop系统中常见的mr任务启动、 hdfs操作、 shell调度、 hive操作等 2、使得复杂的依赖关系、时间触发、事件触发使用xml语言进行表达，开发效率提高 3、一组任务使用一个DAG来表示，使用图形表达流程逻辑更加清晰 4、支持很多种任务调度，能完成大部
阅读全文
摘要：但是，一般用Azkaban了。（具体见我写的另一篇博客：） 官网：https://oozie.apache.org/ Oozie is a workflow scheduler system to manage Apache Hadoop jobs. Oozie Workflow jobs are
阅读全文