Azkaban 2.5.0的详细安装过程
准备下载Azkaban2.5.0:https://azkaban.github.io/downloads.htm
准备插件:
一、MySQL安装与配置
启动数据库并查看状态:sudo service mysqld start
sudo service mysqld status
登陆mysql:以root用户登陆
mysql -u root -p
1)为Azkaban单独创建一个数据库:
create database azkaban
2)单独创建一个数据库用户,实际生产中最好单独创建一个用户,这里我使用azkaban/***1234,并对用户授权
创建:create user 'azkaban'@'主机名' identified by 'azkaban';(用户azkaban、主机名、对数据库azkaban)
授权:grant select,insert,update,delete,create,index on `azkaban`.* to 'azkaban'@'主机名' with grant option;
接下来通过刚创建的用户登陆mysql
报错,再执行下面的
mysql> grant all privileges on *.* to 'azkaban'@'%' identified by 'azkaban' with grant option;
Query OK, 0 rows affected (0.00 sec)
mysql> grant all privileges on *.* to 'azkaban'@'master' identified by 'azkaban' with grant option;
Query OK, 0 rows affected (0.00 sec)
mysql> grant all privileges on *.* to 'azkaban'@'localhost' identified by 'azkaban' with grant option;
Query OK, 0 rows affected (0.00 sec)
select user,host,password from mysql.user;
此时就可以通过azkaban账号登陆了
3) 为azkaban建表:
下载azkaban-sql-script-2.5.0.tar.gz 解压缩
执行create-all-sql-2.5.0.sql
mysql -u azkaban -pazkaban -Dazkaban<create-all-sql-2.5.0.sql(create-all-sql-2.5.0.sql重定向到创建的数据库)
上传解压
退出,做重定向
mysql -uazkaban -pazkaban -Dazkaban</home/hadoop/app/azkaban-2.5.0/create-all-sql-2.5.0.sql(全路径)
再次登录
完成
4)准备jdbc驱动
下载jdbc驱动包,webserver和executor-server都需要它,将其放入到webserver和executor-server的extlib目录下(2.5版本是自带的不需要配置)
二、配置Azkaban Web Server
1)安装web server
下载 解压缩
上传依赖包
把mysql驱动上传至/home/hadoop/app/azkaban-web-2.5.0/extlib
2)Getting KeyStore for SSL(生成KeyStore文件)
keytool -keystore keystore -alias jetty -genkey -keyalg RSA
密码尽量一致(包括大小写)
修改配置文件:conf/azkaban.properties
修改
# Azkaban Jetty server properties.
jetty.maxThreads=25
jetty.ssl.port=8443
jetty.port=8081
jetty.keystore=/home/hadoop/app/azkaban-web-2.5.0/web/keystore
jetty.password=******
jetty.keypassword=******
jetty.truststore=/home/hadoop/app/azkaban-web-2.5.0/web/keystore
jetty.trustpassword=******
修改
setting up to the DB
#Loader for projects
executor.global.properties=/home/hadoop/app/azkaban-web-2.5.0/conf/global.properties
azkaban.project.dir=projects
database.type=mysql
mysql.port=3306
mysql.host=localhost
mysql.database=azkaban
mysql.user=azkaban
mysql.password=azkaban
mysql.numconnections=100
修改
#Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager
user.manager.xml.file=/home/hadoop/app/azkaban-web-2.5.0/conf/azkaban-users.xml
修改
#Azkaban Personalization Settings
azkaban.name=Test
azkaban.label=My Local Azkaban
azkaban.color=#FF3601
azkaban.default.servlet.path=/index
web.resource.dir=/home/hadoop/app/azkaban-web-2.5.0/web/
default.timezone.id=America/Los_Angeles
启动web server
bin/azkaban-web-start.sh
bin/azkaban-web-shutdown.sh
https://192.168.80.11:8443/
回车
https://192.168.80.11:8443/ web页面展示
配置安装完成!!!!!
三、配置安装Azkaban Executor Server
1)安装Azkaban Executor Server
下载azkaban-executor-server-2.5.0.tar.gz 上传、解压缩即可。
2)配置数据库(setting up to DB)
修改cof/azkaban.properties
#Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects
database.type=mysql
mysql.port=3306
mysql.host=localhost
mysql.database=azkaban
mysql.user=azkaban
mysql.password=azkaban
mysql.numconnections=100
3)配置端口号
默认配置不动即可(webserver和executorserver都用默认不需改动,如若自己想修改则两端都要改成一致)
注意:对于两种不同的模式,配置是不一样的了:
single executor mode:executor.port=12321即可。只需要和AzkabanWebServer的azkaban.properties下的executor.port保持一致就OK了。
4)启停Executor Server
bin/azkaban-exec-start.sh
bin/azkaban-exec-shutdown.sh
报错是由于没有指定全路径,找不到文件。所以在配置时尽量使用全路径即可
jps可以发现即使报错但是还是启动起来了,这里先干掉再启动
重新启动
成功
四、多个Executor Server 模式
待续。。。。。。。
五、配置Azkaban插件
azkaban设计的思路是使非核心功能基于插件,所以核心功能非常轻便,安装升级方便,而且很容易扩展到不同的操作系统。
web server 插件:
viewer plugins
trigger plugins
user manager plugins
alerter plugins
executor server插件:
注意:注意之前的疏忽,这里调整时区
web server
executor server
调整完成 重新启动 生效
六、创建工作流
桌面创建两个后缀名为.job的文件
打包
登陆web界面:https://192.168.80.11:8443/
创建组
上传工作流