Dolphin Scheduler 1.1.0升级1.2.0避坑指南
本文章经授权转载
组件介绍
Apache Dolphin Scheduler是一个分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。
官网
https://dolphinscheduler.apache.org/en-us/
github
https://github.com/apache/incubator-dolphinscheduler
Dolphin Scheduler 1.2.0是ds发布的第一个Apache版本,目前也是社区推荐的版本。引入了跨项目依赖,Flink&http组件等特性,具体Release Notes请见:
https://github.com/apache/incubator-dolphinscheduler/releases
文档编写目的
-
记录生产环境升级Dolphin Scheduler 1.1.0 -> 1.2.0的流程
安装环境
-
CDH5.16.2
-
Dolphin Scheduler 1.1.0
部署方式
-
源码编译部署,需要修改hive-jdbc版本适配CDH
前置条件
-
Dolphin Scheduler1.1.0部署在集群网关节点上
-
Dolphin Scheduler源码切换到1.2.0-release
-
ds源码编译采用ubuntu环境
2
安装包准备
github clone Dolphin Scheduler代码,本地切换到1.2.0-release分支
修改数据库
-
ds1.1.0中数据库用的mysql,本次升级依然使用mysql作为数据库
-
-
去除pom文件中的mysql包引入方式,去除test
-
-
-
修改dolphinscheduler-dao包下的application-dao.properties
-
-
将数据库连接从pg修改到mysql
-
-
-
-
修改dolphinscheduler-common包下的quartz.properties
-
-
将数据库连接从pg修改为mysql
-
-
修改pom文件中的hive版本
源码编译
-
更新maven
-
执行:mvn -U clean package -Prelease -Dmaven.test.skip=true
-
这里建议大家使用ubuntu或mac系统进行源码编译,win系统下问题比较多
-
编译完成
-
到dolphinscheduler-dist包下分别下载后端和前端的tar.gz文件
-
也可以直接到官网进行下载,要使用mysql数据库需要将mysql-connector-java包放到lib目录下
数据库备份
-
使用navicat工具进行mysql库的备份
-
可以导出库的结构和数据文件,也可以直接进行数据库复制
3
修改配置
修改tar包配置
-
上传后端tar包
# 创建部署目录
mkdir -p /opt/dolphinscheduler
# 解压tar包
tar -zxvf dolphinscheduler-1.2.0-backend-bin.tar.gz -C /opt/dolphinscheduler/
# 修改安装包权限和所属用户,这里部署用户依然采用1.1.0的escheduler
修改环境变量
-
修改conf/env目录下的.dolphinscheduler_env.sh文件
-
-
修改为自己集群的配置,FLINK_HOME暂时没有配置
-
这里的Spark组件切换spark版本有点问题,如果只用spark2可以把SPARK_HOME1注释掉或者指向SPARK_HOME2
-
export HADOOP_HOME=/opt/cloudera/parcels/CDH/lib/hadoop
export HADOOP_CONF_DIR=/opt/cloudera/parcels/CDH/lib/hadoop/etc/hadoop
export SPARK_HOME1=/opt/cloudera/parcels/CDH/lib/spark
export SPARK_HOME2=/opt/cloudera/parcels/SPARK2/lib/spark2
export PYTHON_HOME=/usr/local/anaconda3/bin/python
export JAVA_HOME=/usr/java/jdk1.8.0_131
export HIVE_HOME=/opt/cloudera/parcels/CDH/lib/hive
export FLINK_HOME=/opt/soft/flink
export PATH=$HADOOP_HOME/bin:$SPARK_HOME1/bin:$SPARK_HOME2/bin:$PYTHON_HOME:$JAVA_HOME/bin:$HIVE_HOME/bin:$PATH:$FLINK_HOME/bin:$PATH
修改install.sh中的部署参数
-
zk集群配置的时候,需要按照ip1:2181,ip2:2181,ip3:2181的方式配置
-
要使用HDFS作为资源中心,HA情况下,需要将集群的core-site.xml文件和hdfs-site.xml文件拷贝到conf目录下,这里注意下 修改core-site.xml和hdfs-site.xml文件的权限为755
-
其他按照业务修改,注意要与1.1.0进行兼容,以下参数特别注意!!!!
# 需要特别注意的install.sh参数
# for example postgresql or mysql ...
dbtype="mysql"
# db config
# db address and port
dbhost="192.168.xx.xx:3306"
# db name
dbname="escheduler"
# db username
username="escheduler"
# db passwprd
# Note: if there are special characters, please use the \ transfer character to transfer
passowrd="escheduler"
# conf/config/install_config.conf config
# Note: the installation path is not the same as the current path (pwd)
installPath="/opt/ds_120"
# deployment user
# Note: the deployment user needs to have sudo privileges and permissions to operate hdfs. If hdfs is enabled, the root directory needs to be created by itself
deployUser="escheduler"
# hdfs root path, the owner of the root path must be the deployment user.
# versions prior to 1.1.0 do not automatically create the hdfs root directory, you need to create it yourself.
hdfsPath="/escheduler"
# common config
# Program root path
programPath="/tmp/escheduler"
# download path
downloadPath="/tmp/escheduler/download"
# task execute path
execPath="/tmp/escheduler/exec"
# api config
# api server port
apiServerPort="12345"
# api session timeout
apiServerSessionTimeout="7200"
# api server context path
apiServerContextPath="/dolphinscheduler/"
4
数据库升级&组件升级
运行升级脚本
-
修改conf/application-dao.properties
-
如果源码编译的时候没有去除mysql jar包的test,则需要将mysql连接jar放到lib目录下
spring.datasource.driver-class-name=com.mysql.jdbc.Driver
spring.datasource.url=jdbc:mysql://xxxx:3306/dolphinscheduler?characterEncoding=UTF-8
spring.datasource.username=xxxxx
spring.datasource.password=xxxxx
-
运行升级脚本script下的upgrade-dolphinscheduler.sh,升级数据库
-
-
sh upgrade-dolphinscheduler.sh
-
特别注意
升级完成之后,需要在ds的元数据库中在执行一条ddl语句,修改任务实例表中的app_link字段长度,否则运行多阶段的hive-ql会导致任务状态不正确。报错信息:
data too long for field 'app_link'
执行ddl语句
Mysql:
alter table t_ds_task_instance modify column app_link text;
Pg:
alter table t_ds_task_instance alter column app_link type text;
关键数据核查
-
conf/quartz.properties配置文件中实例名属性是否为DolphinScheduler,也就是属性org.quartz.scheduler.instanceName对应的值
-
QRTZ_SCHEDULER_STATE表中的SCHED_NAME字段是否为DolphinScheduler,1.1.0中为EasyScheduler
-
QRTZ_JOB_DETAILS表中的JOB_CLASS_NAME字段是否为org.apache.dolphinscheduler.server.quartz.ProcessScheduleJob,1.1.0中为cn.escheduler.server.quartz.ProcessScheduleJob
-
检查nginx配置的上下文是否为/dolphinscheduler
后端服务升级
-
sh install.sh
前端服务升级
-
解压前端tar包,将dist文件夹覆盖1.1.0版本的dist文件夹
-
修改nginx配置,上下文修改为dolphinscheduler
-
重启nginx,systemctl restart nginx
vi /etc/nginx/conf.d/escheduler.conf#重启nginx
systemctl restart nginx
至此1.2.0升级完成
任务流测试
升级成功!
欢迎试用Dolphin Scheduler!!!