Azkaban使用
dependency
1 创建一个带dependency的作业 关键点: dependencies first.job type=command command=echo "first" second.job type=command dependencies=first command=echo "second" 将first.job和second.job一起压缩,创建项目,上传,执行,查看结果
hdfs
操作HDFS文件系统 hdfs.job type=command command=/Users/hadoop/app/hadoop/bin/hadoop fs -ls / 压缩,上传,执行,看结果,在web UI端的8088端口,查看mapreduce进度,及详细信息
MapReduce
mr.job: type=command command=/Users/hadoop/app/hadoop/bin/hadoop jar /Users/hadoop/app/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar wordcount hdfs://Master:8020/ruozeinput.txt hdfs://Master:8020/az_out/wc 压缩成mr.zip,上传,执行,查看结果
hive
hdfs.job:
type=command
command=/Users/hadoop/app/hive/bin/hive -f 'test.sql'
test.sql:
select deptno,count(1) from emp group by deptno;
压缩成 hive_az.zip文件,上传,执行,查看结果
