azkaban
Azkaban
官网:https://azkaban.github.io/
Azkaban是一款开源工作流管理器。
Azkaban是在LinkedIn上创建的批处理工作流作业调度程序,用于运行Hadoop作业。
Azkaban通过作业依赖性解决订单,并提供易于使用的Web用户界面来维护和跟踪您的
工作流程。
工作流作业:
flume->hdfs->mr->hive建表->导入load data脚本
自动化调度
Azkaban安装部署
1)解压
2)进入mysql创建azkaban库,然后将解压好的脚本导入
create database azkaban;
use azkaban;
source /root/hd/azkaban/azkaban-2.5.0/create-all-sql-2.5.0.sql;
3)生成证书
keytool -keystore keystore -alias jetty -genkey -keyalg RSA
将keystore移动到server文件夹下
4)时间同步配置
任务调度,所以和本地时间保持一致
开启交互窗口:
sudo date -s ''
hwclock -w
5)修改server端配置文件
azkaban.properties
azkaban-users.xml
6)修改excutor端配置文件
azkaban.properties
azkaban实操
hdfs->hive建表->导入