随笔分类 -  bdv011-azkaban

|NO.Z.10000|——————————|BigDataEnd|——————————————————————————————————————
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-08 15:36 yanqi_vip 阅读(5) 评论(0) 推荐(0) 编辑

|NO.Z.00036|——————————|BigDataEnd|——————————————————————————————————————
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-08 15:35 yanqi_vip 阅读(4) 评论(0) 推荐(0) 编辑

|NO.Z.00034|——————————|^^ 部署 ^^|——|Hadoop&azkaban.V06|——|azkaban.v06|azkaban.multiple-executor模式部署.v02|
摘要:一、配置Azkaban-exec-server ### linux123节点,上传exec安装包到/opt/yanqi/software [root@linux123 ~]# cd /opt/yanqi/software/azkaban/ [root@linux123 azkaban]# ll -r 阅读全文

posted @ 2022-04-08 15:35 yanqi_vip 阅读(9) 评论(0) 推荐(0) 编辑

|NO.Z.00035|——————————|^^ 部署 ^^|——|Hadoop&azkaban.V07|——|azkaban.v07|实验实例|
摘要:一、shell command调度 ### [azkaban] ~~~ [azkaban应用之Job依赖调度] ~~~ [azkaban应用之HDFS任务] ~~~ [azkaban应用之mapreduce任务] ~~~ [azkaban应用之mapreduce任务] ~~~ [azkaban应用之 阅读全文

posted @ 2022-04-08 15:35 yanqi_vip 阅读(25) 评论(0) 推荐(0) 编辑

|NO.Z.00033|——————————|^^ 部署 ^^|——|Hadoop&azkaban.V05|——|azkaban.v05|azkaban.multiple-executor模式部署.v01|
摘要:一、multiple-executor模式部署 ### [azkaban] ~~~ [azkaban-solo-server部署使用] ~~~ [azkaban-multiple-server模式部署-webserver配置] ~~~ [azkaban-multiple-server模式部署-exe 阅读全文

posted @ 2022-04-08 15:34 yanqi_vip 阅读(13) 评论(0) 推荐(0) 编辑

|NO.Z.00032|——————————|^^ 部署 ^^|——|Hadoop&azkaban.V04|——|azkaban.v04|azkaban-solo-server部署配置.v02|
摘要:一、单服务模式使用 ### 需求:使用azkaban调度我们的shell脚本,执行linux的shell命令 ~~~ 具体步骤:开发job文件:创建普通文本文件 foo.job,文件内容如下 type=command command=echo 'hello world' 二、打成压缩包 ### 上传 阅读全文

posted @ 2022-04-08 15:33 yanqi_vip 阅读(13) 评论(0) 推荐(0) 编辑

|NO.Z.00030|——————————|BigDataEnd|——|Hadoop&azkaban.V02|——|azkaban.v02|概述|
摘要:一、Azkaban介绍 ### Azkaban介绍 ~~~ # Azkaban是由linkedin(领英)公司推出的一个批量工作流任务调度器, ~~~ 用于在一个工作流内以一个特定的顺序运行一组工作和流程。 ~~~ Azkaban使用job配置文件建立任务之间的依赖关系, ~~~ 并提供一个易于使用 阅读全文

posted @ 2022-04-08 15:32 yanqi_vip 阅读(14) 评论(0) 推荐(0) 编辑

|NO.Z.00031|——————————|^^ 部署 ^^|——|Hadoop&azkaban.V03|——|azkaban.v03|azkaban-solo-server部署配置.v01|
摘要:一、azkaban-solo-server部署使用:Azkaban安装部署:Azkaban的安装准备工作 ### 编译 ~~~ 这里选用azkaban3.51.0这个版本自己进行重新编译, ~~~ 编译完成之后得到我们需要的安装包进行安装 ~~~ Gradle是一个基于Apache Ant和Apac 阅读全文

posted @ 2022-04-08 15:32 yanqi_vip 阅读(31) 评论(0) 推荐(0) 编辑

|NO.Z.00029|——————————|BigDataEnd|——|Hadoop&azkaban.V01|——|azkaban.v01|工作调度系统|
摘要:一、工作流调度系统 ### 一个完整的数据分析系统通常都是由大量任务单元组成: ~~~ shell脚本程序 ~~~ java程序 ~~~ mapreduce程序 ~~~ hive脚本等 ~~~ 各任务单元之间存在时间先后及前后依赖关系,为了很好地组织起这样的复杂执行计划, ~~~ 需要一个⼯工作流调 阅读全文

posted @ 2022-04-08 15:31 yanqi_vip 阅读(21) 评论(0) 推荐(0) 编辑

|NO.Z.00000|——————————|BigDataEnd|——————————————————————————————————————
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-08 15:31 yanqi_vip 阅读(6) 评论(0) 推荐(0) 编辑

< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8

导航

统计

点击右上角即可分享
微信分享提示