10. azkaban配置流程

下载azkaban后，得通过自己编译得到jar包

• 注意：编译需要很长时间，这儿直接获取了
  

在mysql中执行SQL文件

1、把hive的lib目录下的derby驱动jar包拷贝到web-server，exec-server的lib目录

[root@node1 web-server]# cp /opt/app/hive-2.3.8/lib/derby-10.10.2.0.jar /opt/app/azkaban-3.85.0/web-server/lib/
[root@node1 web-server]# cp /opt/app/hive-2.3.8/lib/derby-10.10.2.0.jar /opt/app/azkaban-3.85.0/exec-server/lib/

2、服务器上MySQL的版本8版本，但是azkaban模式不支持MySQL8版本，将web-server，exec-server的lib目录下mysql驱动器jar包版本替换为5.1.47版本即可

[root@node1 lib]# pwd
/opt/app/azkaban-3.85.0/exec-server/lib
[root@node1 lib]# rm -rf mysql-connector-java-5.1.28.jar 
[root@node1 lib]# rz
 mysql-connector-java-5.1.47.jar

[root@node1 lib]# pwd
/opt/app/azkaban-3.85.0/web-server/lib
[root@node1 lib]# rm -rf mysql-connector-java-5.1.28.jar 
[root@node1 lib]# rz
 mysql-connector-java-5.1.47.jar

3、配置web server

[root@node1 conf]# pwd
/opt/app/azkaban-3.85.0/web-server/conf

[root@node1 conf]# vi azkaban.properties
default.timezone.id=Asia/Shanghai
database.type=mysql
mysql.port=3306
mysql.host=node1
mysql.database=azkaban?serverTimezone=UTC&useSSL=false
mysql.user=root
mysql.password=Jsq123456...
mysql.numconnections=10
azkaban.executorselector.filters=StaticRemainingFlowSize,CpuStatus

[root@node1 conf]# vi azkaban-users.xml 
<azkaban-users>
  <user groups="azkaban" password="azkaban" roles="admin" username="azkaban"/>
  <user password="metrics" roles="metrics" username="metrics"/>
  <user password="root" roles="admin" username="root"/>
  <role name="admin" permissions="ADMIN"/>
  <role name="metrics" permissions="METRICS"/>
</azkaban-users>

4、 配置executor server

[root@node1 conf]# pwd
/opt/app/azkaban-3.85.0/exec-server/conf

[root@node1 conf]# vi azkaban.properties
default.timezone.id=Asia/Shanghai
azkaban.webserver.url=http://node1:8081
executor.port=12321
database.type=mysql
mysql.port=3306
mysql.host=node1
mysql.database=azkaban?serverTimezone=UTC&useSSL=false
mysql.user=root
mysql.password=Jsq123456...
mysql.numconnections=10

5. 启动

1. 先启动exec-server服务
必须在exec-server安装路径下启动
[root@node1 exec-server]# pwd
/opt/app/azkaban-3.85.0/exec-server
[root@node1 exec-server]# bin/start-exec.sh 
# 激活
[root@node1 web-server]# curl -G "node1:12321/executor?action=activate" && echo

2. 再启动web-server服务
[root@node1 web-server]# bin/start-web.sh

3. 查看启动的端口号
netstat -untlp 

6. 报错问题的解决

报错：Mysql连接数太多导致无法连接的问题
解决：在MySQL中执行命令

7. 访问

http://node1:8081/