DolphinScheduler安装

• 在完成数据仓库的设计和构建之后，开始进入数据仓库的正常运行。数仓项目的正常运行离不开任务调度，DolphinScheduler任务调度贯穿整个项目
  

• Apache DolphinScheduler是一个分布式、易扩展的可视化DAG工作流任务调度平台。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用

• 需求：离线数仓完成后，需要按周期处理数据，需要有一个统一调度数仓的管理者，统筹协调整个项目

• 部署模式

DolphinScheduler支持多种部署模式，包括单机模式（Standalone）、伪集群模式（Pseudo-Cluster）、集群模式（Cluster）等。
生产环境下常用的集群模式，占用内存等资源较多，为减少资源占用，采用单机模式。
单机模式下，只需配置JDK环境，就可一键启动DolphinScheduler，快速体验其功能

• 前提，3台机器安装

sudo yum install -y psmisc

• 下载

• 将apache-dolphinscheduler-2.0.3-bin.tar.gz上传到slave1

# 上传到如下目录
cd /opt/onlineedu/
# 解压
tar -zxvf apache-dolphinscheduler-2.0.3-bin.tar.gz
# 修改名称
mv apache-dolphinscheduler-2.0.3-bin/ dolphinscheduler

• 配置

cd /opt/onlineedu/dolphinscheduler
vim conf/config/install_config.conf

# 配置如下
defaultFS="hdfs://slave1:9000"
resourceManagerHttpAddressPort="8088"
singleYarnIp="slave3"
hdfsRootUser="root"
kerberosStartUp="false"
krb5ConfPath="$installPath/conf/krb5.conf"
keytabUserName="hdfs-mycluster\\@ESZ.COM"
keytabPath="$installPath/conf/hdfs.headless.keytab"
kerberosExpireTime="2"
sudoEnable="true"
workerTenantAutoCreate="false"

• 初始化数据库

mysql> CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

mysql> set global validate_password.policy=LOW; 
mysql> set global validate_password.length=6;
mysql> SHOW VARIABLES LIKE "validate_password%";

mysql> CREATE USER 'dolphinscheduler'@'%' IDENTIFIED BY '123456';
mysql> GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'%';
mysql> flush privileges;

mv mysql-connector-java-8.0.30.jar /opt/onlineedu/dolphinscheduler/lib

• 启动

# 3台机器都启动zookeeper
zkServer.sh start

# 启动
bin/dolphinscheduler-daemon.sh start standalone-server
# 停止
bin/dolphinscheduler-daemon.sh stop standalone-server

# 查看
[root@slave1 dolphinscheduler]# jps
9813 QuorumPeerMain
9879 StandaloneServer
9897 Jps

# 查看端口
netstat -ntlp