大数据任务调度工具azkaban安装的相关文档
区配置:
1.查看时区
2 .修改时区
3 安装mysql
下载MySQL数据脚本(如下有安装MySQL服务可以忽略)
下载然后解压;tar -zxvf azkaban-sql-script-2.5.0.tar.gz
创建用户、分配权限并执行脚本
mysql –u root –pxxxx
创建数据库: CREATE DATABASE azkaban;
创建好数据库然后退出。
然后将sql-script文件中的create-all-sql-2.5.0.sql中的数据表创建在刚创建好的azkaban 数据库当中。
使用命令:mysql –u root –pxxxx -Dazkaban < /绝对路径/create-all-sql-2.5.0.sql
登录mysql数据库。mysql –u root –pxxx 查看存在的表。
注意:这里我们使用的root用户创建的数据库。在生产上我们是单独的创建一个用户,方便管理使用;
还需注意,在azkaban2.5以后不需要自己在引入mysql的驱动包。在lib目录下面存在驱动包。
创建用户名:CREATE USER 'azkaban'@'%' IDENTIFIED BY 'azkaban'
分配权限:GRANT SELECT,INSERT,UPDATE,DELETE,CREATE,INDEX ON `azkaban`.* TO 'azkaban'@'%' WITH GRANT OPTION;
flush privileges;
quit;
通过azkaban账号登录mysql:mysql –uazkaban –pazkaban
Use azkaban;
source ~/azkaban/azkaban-2.5.0/create-all-sql-2.5.0.sql
4 Azkaban Web Server 安装
1 下载安装azkaban-web-server-2.5.0.tar.gz
解压tar包。目录如下
2 生成SSL 证书
因为azkaban是加密传输,因此要配置ssl 服务。方便网路传输。
关于怎么使用 Java keytool 生成 keystore 文件 在这里可以只简单的生成 keystore 文件,并将生成的 keystore 文件拷贝至 ~/azkaban-web-2.5.0/web
文件下。
keytool -keystore keystore -alias jetty -genkey -keyalg RSA
3 修改 ./conf/azkaban.properties
3 修改 ./conf/azkaban.properties
修改首页样式及时区信息
azkaban.name=Job Tasks
azkaban.label=mysteel workflow
azkaban.color=#FF3601
azkaban.default.servlet.path=/index
web.resource.dir=web/
default.timezone.id=Asia/Shanghai
修改mysql连接,可自行修改
database.type=mysql
mysql.port=3306
mysql.host=192.168.200.184
mysql.database=azkaban
mysql.user=azkaban
mysql.password=azkaban
mysql.numconnections=100
修改 Jetty 服务器属性,包括 keystore 的相关配置
jetty.maxThreads=25
jetty.ssl.port=8443
jetty.port=8081
jetty.keystore=keystore 最好设置为绝对路劲,防止加载不到
jetty.password=mysteel
jetty.keypassword= mysteel
jetty.truststore=keystore 最好设置为绝对路劲,防止加载不到
jetty.trustpassword= mysteel
修改邮件设置(可选)
mail.sender=xxxxxxx@mysteel.com
mail.host=smtp.126.com
mail.user= xxxxxxx@mysteel.com
mail.password=xxx (注:发送邮箱的密码)
5.用户及权限配置
进入 azkaban web 服务器 conf 目录,修改 azkaban-users.xml ,增加管理员用户:
< azkaban-users>
< user username="azkaban" password="azkaban" roles="admin" groups="azkaban" />
< user username="metrics" password="metrics" roles="metrics"/>
< user username="admin" password="admin" roles="admin,metrics" />
< role name="admin" permissions="ADMIN" />
< role name="metrics" permissions="METRICS"/>< /azkaban-users>
Azkaban Executor Server安装
1.下载安装包
azkaban-executor-server-2.5.0.tar.gz
解压到相对应的文件目录下面。
tar –zxvf azkaban-executor-server-2.5.0.tar.gz –C ~/azkaban/
2.修改配置文件 (conf/azkaban.propreties)
修改时区信息
default.timezone.id=Asia/Shanghai
修改mysql连接,可自行修改
database.type=mysql
mysql.port=3306
mysql.host=192.168.200.184
mysql.database=azkaban
mysql.user=azkaban
mysql.password=azkaban
mysql.numconnections=100
配置端口,默认就好
executor.maxThreads=50
executor.port=12321
executor.flow.threads=30
在web server 的azkaban.properties配置executor的连接,特别注意,如果两个server不是在一台主机上,web server 需要配置executor.host
# Azkaban Executor settings
executor.port=12321
executor.host=ip/hostname
启动验证
启动web server
~/azkaban/azkaban-web-2.5.0/bin/azkaban-web-start.sh(azkaban-web-shutdown.sh停止)
访问 https://ip:8443
登录用户名称和密码是上面xml 文件中的用户名称和密码,也可自行配置。
出现界面安装成功
启动 executor server
~/azkaban/azkaban-executor-2.5.0/bin/azkaban-exec-start.sh(azkaban-executor-shutdown.sh 停止
至此azkaban安装完成。