Azkaban技术总结

1、单独的job

#test
type=command
command=/usr/bin/sh /opt/module/azkaban/executor/jobs/goodsmysql2hdfs.sh

　在写脚本的时候尽量使用命令的绝对路径，避免不识别或找不到执行命令位置。

2、带有依赖的job

# 测试带有依赖的任务

A、创建job
在根目录下创建Azkaban的job文件路径
[root@node1 ~]# mkdir -p azkaban_jobs/solo_job
#在solo_job目录创建两个文件one.job  two.job,内容如下

[root@node1 solo_job]# cat one.job 
    type=command
    command=echo "this is job one"

[root@node1 solo_job]# cat two.job 
    type=command
    dependencies=one
    command=echo "this is job two"
#打包成zip包
[root@node1 azkaban_jobs]# zip -r solo_job.zip solo_job/

B、Azkaban WebUI创建工程并执行
http://node1（或使用192.168.*.*）:8081/index登录=>Create Project=>Upload 上一步生成的zip包 =>execute flow执行一步步操作即可
注:在Azkaban项目中,任务的名称是以最后一个Job名来命名的。

　　

 

 

 

 

 

 

 

 

换行符问题

注意：shell脚本中的换行符是LF ，window系统换行符是CR LF。在编辑的时候注意不能使用CR LF，否则不能执行。

解决办法：使用Notpad++软件可以直接查看换行符

 

 最下面可以切换系统的换行符。也可以在配置中设置unix系统。

 

 【未完待整理】