azkaban:
========================
工作流调度器
crontab：
Linux自带定时任务
azkaban：
轻量级工作流调度器
linkedIn
oozie：
复杂任务调度器，重量级
apache
本地log ===> MR程序数据清洗 ====> load hive ===> hql ===> hdfs
job job job job
ETL:
Extract Transform Load
抽取 转换 加载
调度工具使用：
=======================
1、在本地编写job
oozie：xml
azkaban：text k=v
2、将job进行打包，并通过web页面提交到调度执行器
3、调度执行器执行调度任务
azkaban安装：
========================
阶段一：初始化azkaban
1、创建/soft/azkaban文件夹
2、将azkaban-web-server-3.46.0.tar.gz
azkaban-exec-server-3.46.0.tar.gz
解压到/soft/azkaban下
tar -xzvf azkaban-web-server-3.46.0.tar.gz -C /soft/azkaban
tar -xzvf azkaban-exec-server-3.46.0.tar.gz -C /soft/azkaban
3、将create-all-sql-3.46.0.sql放在/soft/azkaban下
4、进入mysql并创建数据库
mysql -uroot -p
mysql> create database azkaban
5、使用source命令运行sql脚本(mysql 命令行)
mysql> use azkaban;
mysql> source /soft/azkaban/create-all-sql-3.46.0.sql
azkaban初始化完成
阶段二：创建SSL配置
1、 生成SSL秘钥
keytool -keystore keystore -alias jetty -genkey -keyalg RSA
Enter keystore password: //hadoop
Re-enter new password: //hadoop
What is your first and last name?
[Unknown]: //回车
What is the name of your organizational unit?
[Unknown]: //回车
What is the name of your organization?
[Unknown]: //回车
What is the name of your City or Locality?
[Unknown]: //回车
What is the name of your State or Province?
[Unknown]: //回车
What is the two-letter country code for this unit?
[Unknown]: //CN
Is CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=CN correct?
[no]: //yes
Enter key password for <jetty>
(RETURN if same as keystore password): //回车
2、将当前目录产生的keystore文件复制到/soft/azkaban/azkaban-web-server-3.46.0下
cp keystore /soft/azkaban/azkaban-web-server-3.46.0
至此，SSL配置完成
阶段三：配置文件
1、修改azkaban-web配置文件/soft/azkaban/azkaban-web-server-3.46.0/conf/azkaban.properties
# 默认时区,改为亚洲/上海
default.timezone.id=Asia/Shanghai
#修改数据库信息
database.type=mysql
mysql.port=3306
mysql.host=s101
mysql.database=azkaban
mysql.user=root
mysql.password=root
mysql.numconnections=100
2、修改azkaban-exec配置文件/soft/azkaban/azkaban-exec-server-3.46.0/conf/azkaban.properties
# 默认时区,改为亚洲/上海
default.timezone.id=Asia/Shanghai
#修改数据库信息
database.type=mysql
mysql.port=3306
mysql.host=s101
mysql.database=azkaban
mysql.user=root
mysql.password=root
mysql.numconnections=100
3、修改azkaban-web下的/soft/azkaban/azkaban-web-server-3.46.0/conf/azkaban-users.xml
<azkaban-users>
<user groups="azkaban" password="azkaban" roles="admin" username="azkaban"/>
<user password="metrics" roles="metrics" username="metrics"/>
<!-- 添加 -->
<user username="admin" password="admin" roles="admin,metrics"/>
<role name="admin" permissions="ADMIN"/>
<role name="metrics" permissions="METRICS"/>
</azkaban-users>
启动azkaban：
=========================
1、启动azkaban的web服务
/soft/azkaban/azkaban-web-server-3.46.0>$ bin/start-web.sh
2、启动azkaban的exec服务
/soft/azkaban/azkaban-exec-server-3.46.0>$ bin/start-exec.sh
3、将以上编写脚本
/usr/local/bin/azweb.sh:增加执行权限
#!/bin/bash
if [ $# -ne 1 ] ; then echo param must be 1 ; exit ; fi
cmd=$1
cd /soft/azkaban/azkaban-web-server-3.46.0 ;
case $cmd in
start ) bin/start-web.sh ;;
stop ) bin/shutdown-web.sh ;;
* ) echo illegal argument ; exit ;;
esac
echo ================ $cmd azweb ================
/usr/local/bin/azexec.sh:增加执行权限
#!/bin/bash
if [ $# -ne 1 ] ; then echo param must be 1 ; exit ; fi
cmd=$1
cd /soft/azkaban/azkaban-exec-server-3.46.0 ;
case $cmd in
start ) bin/start-exec.sh ;;
stop ) bin/shutdown-exec.sh ;;
* ) echo illegal argument ; exit ;;
esac
echo ================ $cmd azexec ================
4、启动web和exec
azweb.sh start
azexec.sh start
5、打开azkaban的web界面
s101:8081
6、输入用户名和密码
admin
admin
问题1：azkaban的exec进程起不来
原因：conf/global.properties文件不存在
解决：/soft/azkaban/azkaban-exec-server-3.46.0>$ touch conf/global.properties
问题2：azkaban的web进程自动停止
原因：conf/azkaban.properties配置有误
解决：将配置文件中配置信息后的空格或特殊字符全部删除(包括空格)
问题3：azkaban的web进程起不来
原因：未初始化数据库
解决：进入到mysql，输入：
mysql> use azkaban;
mysql> source /soft/azkaban/create-all-sql-3.46.0.sql
问题4：azkaban执行job时提示：请求内存，重试
原因：azkaban在执行时会检查主机内存是否超过3G，否则提示以上
解决：/soft/azkaban/azkaban-exec-server-3.46.0/plugins/jobtypes/commonprivate.properties
添加以下配置
memCheck.enabled=false
azkaban的job创建和使用：
=============================
1、创建单一job：command1.job
# command1.job
type=command
command=echo helloworld
2、将job打包
将command1.job打成zip压缩包
3、创建project(web)
在web界面点击create project，输入
name： 关于job的名称
description： job相关信息(不能留空，不能中文)
4、上传job
在project页面点击upload,选择job的zip包并上传
5、执行job
点击execute flow执行job
hive -e hive -e "create table xxx(id int, name string)"
-f hive -f create.hql
create.hql ===> create table xxx(id int, name string)
