Azkaban实战
Azkaba内置的任务类型支持command、java
3.1单一job案例
1）创建job描述文件
|
[atguigu@hadoop102 jobs]$ vim first.job #first.job type=command command=echo 'this is my first job' |
2) 将job资源文件打包成zip文件
|
[atguigu@hadoop102 jobs]$ zip first.zip first.job adding: first.job (deflated 15%) [atguigu@hadoop102 jobs]$ ll 总用量 8 -rw-rw-r--. 1 atguigu atguigu 60 10月 18 17:42 first.job -rw-rw-r--. 1 atguigu atguigu 219 10月 18 17:43 first.zip |
注意：
目前，Azkaban上传的工作流文件只支持xxx.zip文件。zip应包含xxx.job运行作业所需的文件和任何文件（文件名后缀必须以.job结尾，否则无法识别）。作业名称在项目中必须是唯一的。
3）通过azkaban的web管理平台创建project并上传job的zip包
首先创建project
上传zip包
启动执行该job
点击执行工作流
点击继续
执行成功
点击查看日志
3.2多job工作流案例
1）创建有依赖关系的多个job描述
第一个job：start.job
[atguigu@hadoop102 jobs]$ vim start.job
#start.job
type=command
command=touch /opt/module/kangkang.txt
第二个job：step1.job依赖start.job
[atguigu@hadoop102 jobs]$ vim step1.job
#step1.job
type=command
dependencies=start
command=echo "this is step1 job"
第三个job：step2.job依赖start.job
[atguigu@hadoop102 jobs]$ vim step2.job
#step2.job
type=command
dependencies=start
command=echo "this is step2 job"
第四个job：finish.job依赖step1.job和step2.job
[atguigu@hadoop102 jobs]$ vim finish.job
#finish.job
type=command
dependencies=step1,step2
command=echo "this is finish job"
2）将所有job资源文件打到一个zip包中
[atguigu@hadoop102 jobs]$ zip jobs.zip start.job step1.job step2.job finish.job
updating: start.job (deflated 16%)
adding: step1.job (deflated 12%)
adding: step2.job (deflated 12%)
adding: finish.job (deflated 14%)
3）在azkaban的web管理界面创建工程并上传zip包
以下步骤同上。。。
3.3 java操作任务
使用Azkaban调度java程序
1）编写java程序
|
import java.io.IOException; public class AzkabanTest { public void run() throws IOException { // 根据需求编写具体代码 FileOutputStream fos = new FileOutputStream("/opt/module/azkaban/output.txt"); fos.write("this is a java progress".getBytes()); fos.close(); } public static void main(String[] args) throws IOException { AzkabanTest azkabanTest = new AzkabanTest(); azkabanTest.run(); } } |
2）将java程序打成jar包，创建lib目录，将jar放入lib内
|
[atguigu@hadoop102 azkaban]$ mkdir lib [atguigu@hadoop102 azkaban]$ cd lib/ [atguigu@hadoop102 lib]$ ll 总用量 4 -rw-rw-r--. 1 atguigu atguigu 3355 10月 18 20:55 azkaban-0.0.1-SNAPSHOT.jar |
3）编写job文件
|
[atguigu@hadoop102 jobs]$ vim azkabanJava.job
#azkabanJava.job
type=javaprocess
java.class=com.atguigu.azkaban.AzkabanTest
classpath=/opt/module/azkaban/lib/* |
4）将job文件打成zip包
|
[atguigu@hadoop102 jobs]$ zip azkabanJava.zip azkabanJava.job
adding: azkabanJava.job (deflated 19%) |
5）通过azkaban的web管理平台创建project并上传job压缩包，启动执行该job
3.3 HDFS操作任务
1）创建job描述文件
[atguigu@hadoop102 jobs]$ vim fs.job
#hdfs job
type=command
command=/opt/module/hadoop-2.7.2/bin/hadoop fs -mkdir /azkaban
2）将job资源文件打包成zip文件
[atguigu@hadoop102 jobs]$ zip fs.zip fs.job
adding: fs.job (deflated 12%)
3）通过azkaban的web管理平台创建project并上传job压缩包
4）启动执行该job
5）查看结果
3.4 mapreduce任务
mapreduce任务依然可以使用azkaban进行调度
1） 创建job描述文件，及mr程序jar包
[atguigu@hadoop102 jobs]$ vim mapreduce.job
#mapreduce job
type=command
command=/opt/module/hadoop-2.7.2/bin/hadoop jar /opt/module/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /wordcount/input /wordcount/output
2） 将所有job资源文件打到一个zip包中
[atguigu@hadoop102 jobs]$ zip mapreduce.zip mapreduce.job
adding: mapreduce.job (deflated 43%)
3）在azkaban的web管理界面创建工程并上传zip包
4）启动job
5）查看结果
3.5 Hive脚本任务
1）创建job描述文件和hive脚本
（1）Hive脚本：student.sql
[atguigu@hadoop102 jobs]$ vim student.sql
use default;
drop table student;
create table student(id int, name string)
row format delimited fields terminated by '\t';
load data local inpath '/opt/module/datas/student.txt' into table student;
insert overwrite local directory '/opt/module/datas/student'
row format delimited fields terminated by '\t'
select * from student;
（2）Job描述文件：hive.job
[atguigu@hadoop102 jobs]$ vim hive.job
#hive job
type=command
command=/opt/module/hive/bin/hive -f /opt/module/azkaban/jobs/student.sql
1） 将所有job资源文件打到一个zip包中
[atguigu@hadoop102 jobs]$ zip hive.zip hive.job
adding: hive.job (deflated 21%)
3）在azkaban的web管理界面创建工程并上传zip包
4）启动job
5）查看结果
|
[atguigu@hadoop102 student]$ cat /opt/module/datas/student/000000_0 1001 yangyang 1002 bobo 1003 banzhang 1004 pengpeng |
