展开
拓展 关闭
订阅号推广码
GitHub
视频
公告栏 关闭

DolphinScheduler安装

  • 在完成数据仓库的设计和构建之后,开始进入数据仓库的正常运行。数仓项目的正常运行离不开任务调度,DolphinScheduler任务调度贯穿整个项目

  • Apache DolphinScheduler是一个分布式、易扩展的可视化DAG工作流任务调度平台。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用

  • 需求:离线数仓完成后,需要按周期处理数据,需要有一个统一调度数仓的管理者,统筹协调整个项目

  • 部署模式

DolphinScheduler支持多种部署模式,包括单机模式(Standalone)、伪集群模式(Pseudo-Cluster)、集群模式(Cluster)等。
生产环境下常用的集群模式,占用内存等资源较多,为减少资源占用,采用单机模式。
单机模式下,只需配置JDK环境,就可一键启动DolphinScheduler,快速体验其功能
  • 前提,3台机器安装
sudo yum install -y psmisc
  • 下载

  • 将apache-dolphinscheduler-2.0.3-bin.tar.gz上传到slave1

# 上传到如下目录
cd /opt/onlineedu/
# 解压
tar -zxvf apache-dolphinscheduler-2.0.3-bin.tar.gz
# 修改名称
mv apache-dolphinscheduler-2.0.3-bin/ dolphinscheduler
  • 配置
cd /opt/onlineedu/dolphinscheduler
vim conf/config/install_config.conf
# 配置如下
defaultFS="hdfs://slave1:9000"
resourceManagerHttpAddressPort="8088"
singleYarnIp="slave3"
hdfsRootUser="root"
kerberosStartUp="false"
krb5ConfPath="$installPath/conf/krb5.conf"
keytabUserName="hdfs-mycluster\\@ESZ.COM"
keytabPath="$installPath/conf/hdfs.headless.keytab"
kerberosExpireTime="2"
sudoEnable="true"
workerTenantAutoCreate="false"

  • 初始化数据库
mysql> CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
mysql> set global validate_password.policy=LOW;
mysql> set global validate_password.length=6;
mysql> SHOW VARIABLES LIKE "validate_password%";
mysql> CREATE USER 'dolphinscheduler'@'%' IDENTIFIED BY '123456';
mysql> GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'%';
mysql> flush privileges;
mv mysql-connector-java-8.0.30.jar /opt/onlineedu/dolphinscheduler/lib
  • 启动
# 3台机器都启动zookeeper
zkServer.sh start
# 启动
bin/dolphinscheduler-daemon.sh start standalone-server
# 停止
bin/dolphinscheduler-daemon.sh stop standalone-server
# 查看
[root@slave1 dolphinscheduler]# jps
9813 QuorumPeerMain
9879 StandaloneServer
9897 Jps
# 查看端口
netstat -ntlp
posted @   DogLeftover  阅读(78)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· CSnakes vs Python.NET:高效嵌入与灵活互通的跨语言方案对比
· DeepSeek “源神”启动!「GitHub 热点速览」
· 我与微信审核的“相爱相杀”看个人小程序副业
· Plotly.NET 一个为 .NET 打造的强大开源交互式图表库
· 上周热点回顾(2.17-2.23)
点击右上角即可分享
微信分享提示