dolphinscheduler1.3.3部署中踩到的坑
==背景==
我目前在做的项目属于物联网场景,数据实时流处理之后已经存储到了时序数据库当中,
需要从时序数据库中,根据具体的业务特性来生成一些具体的业务数据(如报表数据),
这个部分的架构,在我们项目中目前还是一个盲点,需要解决掉它。
经朋友介绍,dolphinscheduler这个调度工具出现在了我的视野当中,进行了一次部署尝试。
==下载==
https://dolphinscheduler.apache.org/zh-cn/docs/release/download.html
直接去官网下载就可以了,我这里下载的是1.3.3版本
==部署==
官网的部署文档非常的详细,基本上按照步骤直接操作就可以部署成功。
https://dolphinscheduler.apache.org/zh-cn/docs/1.3.3/user_doc/quick-start.html
需要注意的是,不要看错了文档,默认的是1.2.1版本的文档哦。
==踩过的坑==
【小插曲1】
问题描述:
由于我验证的环境在阿里云ecs服务器当中,为了应对阿里云的安全检查,将zookeeper配置了acl权限验证。
结果在ds启动的时候,提示错误KeeperErrorCode = NoAuth,告诉我无法在zk中创建/dolphinscheduler路径,
解决办法:
1、进入zkCli客户端 sh /home/radmin/zookeeper-3.5.6/bin/zkCli.sh 2、获取auth用户 addauth digest zk_admin:RexelZkAdmin#982 3、手动创建路径 create /dolphinscheduler
【小插曲2】
问题描述:
执行了install.sh之后,发现3个节点当中,只有1个节点启动成功了,另外两个节点的jps进程中没有ds的进程。
问题原因:
是因为我太过于心急了,对另外两个节点没有创建ds的用户。按照官网提示的操作,创建用户即可。
# 创建用户需使用root登录,设置部署用户名,请自行修改,后面以dolphinscheduler为例 useradd dolphinscheduler; # 设置用户密码,请自行修改,后面以dolphinscheduler123为例 echo "dolphinscheduler123" | passwd --stdin dolphinscheduler # 配置sudo免密 echo 'dolphinscheduler ALL=(ALL) NOPASSWD: NOPASSWD: ALL' >> /etc/sudoers sed -i 's/Defaults requirett/#Defaults requirett/g' /etc/sudoers
【小插曲3】
问题描述:
web页面启动不起来
解决办法:
打开以下两个配置项,都使用默认值就可以。
文件:master.properties,配置项:master.listen.port=5678
文件:worker.properties,配置项:worker.listen.port: 1234
--END--
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
· 基于Microsoft.Extensions.AI核心库实现RAG应用
· Linux系列:如何用heaptrack跟踪.NET程序的非托管内存泄露
· 开发者必知的日志记录最佳实践
· winform 绘制太阳,地球,月球 运作规律
· AI与.NET技术实操系列(五):向量存储与相似性搜索在 .NET 中的实现
· 超详细:普通电脑也行Windows部署deepseek R1训练数据并当服务器共享给他人
· 【硬核科普】Trae如何「偷看」你的代码?零基础破解AI编程运行原理
· 上周热点回顾(3.3-3.9)
2016-12-01 Linux虚拟机安装配置手册(版本:7.3)