DolphinScheduler安装
-
在完成数据仓库的设计和构建之后,开始进入数据仓库的正常运行。数仓项目的正常运行离不开任务调度,DolphinScheduler任务调度贯穿整个项目
-
Apache DolphinScheduler是一个分布式、易扩展的可视化DAG工作流任务调度平台。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用
-
需求:离线数仓完成后,需要按周期处理数据,需要有一个统一调度数仓的管理者,统筹协调整个项目
-
部署模式
DolphinScheduler支持多种部署模式,包括单机模式(Standalone)、伪集群模式(Pseudo-Cluster)、集群模式(Cluster)等。 生产环境下常用的集群模式,占用内存等资源较多,为减少资源占用,采用单机模式。 单机模式下,只需配置JDK环境,就可一键启动DolphinScheduler,快速体验其功能
- 前提,3台机器安装
sudo yum install -y psmisc
-
将apache-dolphinscheduler-2.0.3-bin.tar.gz上传到slave1
# 上传到如下目录 cd /opt/onlineedu/ # 解压 tar -zxvf apache-dolphinscheduler-2.0.3-bin.tar.gz # 修改名称 mv apache-dolphinscheduler-2.0.3-bin/ dolphinscheduler
- 配置
cd /opt/onlineedu/dolphinscheduler vim conf/config/install_config.conf # 配置如下 defaultFS="hdfs://slave1:9000" resourceManagerHttpAddressPort="8088" singleYarnIp="slave3" hdfsRootUser="root" kerberosStartUp="false" krb5ConfPath="$installPath/conf/krb5.conf" keytabUserName="hdfs-mycluster\\@ESZ.COM" keytabPath="$installPath/conf/hdfs.headless.keytab" kerberosExpireTime="2" sudoEnable="true" workerTenantAutoCreate="false"
- 初始化数据库
mysql> CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; mysql> set global validate_password.policy=LOW; mysql> set global validate_password.length=6; mysql> SHOW VARIABLES LIKE "validate_password%"; mysql> CREATE USER 'dolphinscheduler'@'%' IDENTIFIED BY '123456'; mysql> GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'%'; mysql> flush privileges; mv mysql-connector-java-8.0.30.jar /opt/onlineedu/dolphinscheduler/lib
- 启动
# 3台机器都启动zookeeper zkServer.sh start # 启动 bin/dolphinscheduler-daemon.sh start standalone-server # 停止 bin/dolphinscheduler-daemon.sh stop standalone-server # 查看 [root@slave1 dolphinscheduler]# jps 9813 QuorumPeerMain 9879 StandaloneServer 9897 Jps # 查看端口 netstat -ntlp
分类:
开发环境
标签:
DolphinScheduler
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· CSnakes vs Python.NET:高效嵌入与灵活互通的跨语言方案对比
· DeepSeek “源神”启动!「GitHub 热点速览」
· 我与微信审核的“相爱相杀”看个人小程序副业
· Plotly.NET 一个为 .NET 打造的强大开源交互式图表库
· 上周热点回顾(2.17-2.23)