用Ambari安装DolphinScheduler,超简单!
Ambari是一个用于管理Hadoop集群的工具,虽然Ambari本身并不直接支持DolphinScheduler的安装,但我们可以通过自定义服务的方式将其集成到Ambari中。本文将描述如何使用Ambari安装DolphinScheduler。
1.将需要集成到Ambari的服务安装包放到该目录下
/var/lib/ambari-server/resources/stacks/HDP/3.1/services
2.重启Ambari-server服务
sudo ambari-server restart
继承完之后在Ambari页面上进行服务安装
- 添加服务选择dolphinscheduler
-
DolphinScheduler服务配置
这个选择使用mysql数据作为dolphinscheduler服务的元数据库。
-
服务选择进行安装
选择两个DS-master,至少两个DS-ALTERS,DS-APIS,其余节点都部署DS-worker节点。
- 如果在安装DolphinScheduler之前做了
namenode-ha
则可能会报'hue-desktop-ini'
相关报错,则需要对params.py
脚本进行修改。
脚本位置
/var/lib/ambari-server/resources/stacks/HDP/3.3/services/DOLPHINSCHEDULER/package/scripts/params.py
修改内容
#hdfs_httpfs_host = config['configurations']['hue-desktop-ini']['hdfs_httpfs_host']
hdfs_httpfs_host = "dfs_ha_enabled"
注释#hdfs_httpfs_host = config['configurations']['hue-desktop-ini']['hdfs_httpfs_host']
给hdfs_httpfs_host 任意赋值一个参数让下边的webhdfs_url直接取第一个namenode_hosts[0]
修改完之后保存重启ambari-server
服务重新安装DolphinScheduler。
- 拷贝mysql驱动到所有节点libs目录下
cp /tmp/mysql-connector-j-8.0.33.jar /usr/hdp/current/dolphinscheduler/alert-server/libs/
cp /tmp/mysql-connector-j-8.0.33.jar /usr/hdp/current/dolphinscheduler/api-server/libs/
cp /tmp/mysql-connector-j-8.0.33.jar /usr/hdp/current/dolphinscheduler/master-server/libs/
cp /tmp/mysql-connector-j-8.0.33.jar /usr/hdp/current/dolphinscheduler/worker-server/libs/
cp /tmp/mysql-connector-j-8.0.33.jar /usr/hdp/3.3.1.0-004/dolphinscheduler/tools/libs/
- 因为第二步配置的用户为hdfs用户所以需要将所有服务所属组改为hdfs
/var/log/dolphinscheduler
/usr/hdp/3.3.1.0-004/dolphinscheduler
/etc/dolphinscheduler/
chown -R hdfs:hdfs dolphinscheduler
sdo ln -s /usr/hdp/3.1.4.0-315/dolphinscheduler dolphinscheduler
修改完之后ambari管理平台上启动DolphinScheduler,启动过程中元数据会自动初始化建表。
转载自whiteY,原文链接:https://www.cnblogs.com/whiteY/p/18046586
本文由 白鲸开源 提供发布支持!
标签:
大数据
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 本地部署 DeepSeek:小白也能轻松搞定!
· 传国玉玺易主,ai.com竟然跳转到国产AI
· 自己如何在本地电脑从零搭建DeepSeek!手把手教学,快来看看! (建议收藏)
· 我们是如何解决abp身上的几个痛点
· 如何基于DeepSeek开展AI项目
2023-02-10 非代码的贡献也能成为Committer,我与DolphinScheduler社区的故事