10. azkaban配置流程
下载azkaban后,得通过自己编译得到jar包
- 注意:编译需要很长时间,这儿直接获取了
在mysql中执行SQL文件
1、把hive的lib目录下的derby驱动jar包拷贝到web-server,exec-server的lib目录
[root@node1 web-server]# cp /opt/app/hive-2.3.8/lib/derby-10.10.2.0.jar /opt/app/azkaban-3.85.0/web-server/lib/
[root@node1 web-server]# cp /opt/app/hive-2.3.8/lib/derby-10.10.2.0.jar /opt/app/azkaban-3.85.0/exec-server/lib/
2、服务器上MySQL的版本8版本,但是azkaban模式不支持MySQL8版本,将web-server,exec-server的lib目录下mysql驱动器jar包版本替换为5.1.47版本即可
[root@node1 lib]# pwd
/opt/app/azkaban-3.85.0/exec-server/lib
[root@node1 lib]# rm -rf mysql-connector-java-5.1.28.jar
[root@node1 lib]# rz
mysql-connector-java-5.1.47.jar
[root@node1 lib]# pwd
/opt/app/azkaban-3.85.0/web-server/lib
[root@node1 lib]# rm -rf mysql-connector-java-5.1.28.jar
[root@node1 lib]# rz
mysql-connector-java-5.1.47.jar
3、配置web server
[root@node1 conf]# pwd
/opt/app/azkaban-3.85.0/web-server/conf
[root@node1 conf]# vi azkaban.properties
default.timezone.id=Asia/Shanghai
database.type=mysql
mysql.port=3306
mysql.host=node1
mysql.database=azkaban?serverTimezone=UTC&useSSL=false
mysql.user=root
mysql.password=Jsq123456...
mysql.numconnections=10
azkaban.executorselector.filters=StaticRemainingFlowSize,CpuStatus
[root@node1 conf]# vi azkaban-users.xml
<azkaban-users>
<user groups="azkaban" password="azkaban" roles="admin" username="azkaban"/>
<user password="metrics" roles="metrics" username="metrics"/>
<user password="root" roles="admin" username="root"/>
<role name="admin" permissions="ADMIN"/>
<role name="metrics" permissions="METRICS"/>
</azkaban-users>
4、 配置executor server
[root@node1 conf]# pwd
/opt/app/azkaban-3.85.0/exec-server/conf
[root@node1 conf]# vi azkaban.properties
default.timezone.id=Asia/Shanghai
azkaban.webserver.url=http://node1:8081
executor.port=12321
database.type=mysql
mysql.port=3306
mysql.host=node1
mysql.database=azkaban?serverTimezone=UTC&useSSL=false
mysql.user=root
mysql.password=Jsq123456...
mysql.numconnections=10
5. 启动
1. 先启动exec-server服务
必须在exec-server安装路径下启动
[root@node1 exec-server]# pwd
/opt/app/azkaban-3.85.0/exec-server
[root@node1 exec-server]# bin/start-exec.sh
# 激活
[root@node1 web-server]# curl -G "node1:12321/executor?action=activate" && echo
2. 再启动web-server服务
[root@node1 web-server]# bin/start-web.sh
3. 查看启动的端口号
netstat -untlp
6. 报错问题的解决
报错:Mysql连接数太多导致无法连接的问题
解决:在MySQL中执行命令
7. 访问
http://node1:8081/
本文来自博客园,作者:jsqup,转载请注明原文链接:https://www.cnblogs.com/jsqup/p/16579866.html