摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要:一、配置Azkaban-exec-server ### linux123节点,上传exec安装包到/opt/yanqi/software [root@linux123 ~]# cd /opt/yanqi/software/azkaban/ [root@linux123 azkaban]# ll -r
阅读全文
摘要:一、shell command调度 ### [azkaban] ~~~ [azkaban应用之Job依赖调度] ~~~ [azkaban应用之HDFS任务] ~~~ [azkaban应用之mapreduce任务] ~~~ [azkaban应用之mapreduce任务] ~~~ [azkaban应用之
阅读全文
摘要:一、multiple-executor模式部署 ### [azkaban] ~~~ [azkaban-solo-server部署使用] ~~~ [azkaban-multiple-server模式部署-webserver配置] ~~~ [azkaban-multiple-server模式部署-exe
阅读全文
摘要:一、单服务模式使用 ### 需求:使用azkaban调度我们的shell脚本,执行linux的shell命令 ~~~ 具体步骤:开发job文件:创建普通文本文件 foo.job,文件内容如下 type=command command=echo 'hello world' 二、打成压缩包 ### 上传
阅读全文
摘要:一、Azkaban介绍 ### Azkaban介绍 ~~~ # Azkaban是由linkedin(领英)公司推出的一个批量工作流任务调度器, ~~~ 用于在一个工作流内以一个特定的顺序运行一组工作和流程。 ~~~ Azkaban使用job配置文件建立任务之间的依赖关系, ~~~ 并提供一个易于使用
阅读全文
摘要:一、azkaban-solo-server部署使用:Azkaban安装部署:Azkaban的安装准备工作 ### 编译 ~~~ 这里选用azkaban3.51.0这个版本自己进行重新编译, ~~~ 编译完成之后得到我们需要的安装包进行安装 ~~~ Gradle是一个基于Apache Ant和Apac
阅读全文
摘要:一、工作流调度系统 ### 一个完整的数据分析系统通常都是由大量任务单元组成: ~~~ shell脚本程序 ~~~ java程序 ~~~ mapreduce程序 ~~~ hive脚本等 ~~~ 各任务单元之间存在时间先后及前后依赖关系,为了很好地组织起这样的复杂执行计划, ~~~ 需要一个⼯工作流调
阅读全文
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文