dolphinscheduler1.3.3部署中踩到的坑

==背景==

我目前在做的项目属于物联网场景,数据实时流处理之后已经存储到了时序数据库当中,

需要从时序数据库中,根据具体的业务特性来生成一些具体的业务数据(如报表数据),

这个部分的架构,在我们项目中目前还是一个盲点,需要解决掉它。

经朋友介绍,dolphinscheduler这个调度工具出现在了我的视野当中,进行了一次部署尝试。

 

==下载==

https://dolphinscheduler.apache.org/zh-cn/docs/release/download.html

直接去官网下载就可以了,我这里下载的是1.3.3版本

 

==部署==

官网的部署文档非常的详细,基本上按照步骤直接操作就可以部署成功。

https://dolphinscheduler.apache.org/zh-cn/docs/1.3.3/user_doc/quick-start.html

需要注意的是,不要看错了文档,默认的是1.2.1版本的文档哦。 

 

==踩过的坑==

【小插曲1】

问题描述:

由于我验证的环境在阿里云ecs服务器当中,为了应对阿里云的安全检查,将zookeeper配置了acl权限验证。

结果在ds启动的时候,提示错误KeeperErrorCode = NoAuth,告诉我无法在zk中创建/dolphinscheduler路径,

 

解决办法:

1、进入zkCli客户端
sh /home/radmin/zookeeper-3.5.6/bin/zkCli.sh
2、获取auth用户
addauth digest zk_admin:RexelZkAdmin#982
3、手动创建路径
create /dolphinscheduler

 

【小插曲2】

问题描述:

执行了install.sh之后,发现3个节点当中,只有1个节点启动成功了,另外两个节点的jps进程中没有ds的进程。

 

问题原因:

是因为我太过于心急了,对另外两个节点没有创建ds的用户。按照官网提示的操作,创建用户即可。

复制代码
# 创建用户需使用root登录,设置部署用户名,请自行修改,后面以dolphinscheduler为例
useradd dolphinscheduler;

# 设置用户密码,请自行修改,后面以dolphinscheduler123为例
echo "dolphinscheduler123" | passwd --stdin dolphinscheduler

# 配置sudo免密
echo 'dolphinscheduler  ALL=(ALL)  NOPASSWD: NOPASSWD: ALL' >> /etc/sudoers
sed -i 's/Defaults    requirett/#Defaults    requirett/g' /etc/sudoers
复制代码

 

 

【小插曲3】

问题描述:

web页面启动不起来

 

解决办法:

打开以下两个配置项,都使用默认值就可以。

文件:master.properties,配置项:master.listen.port=5678

文件:worker.properties,配置项:worker.listen.port: 1234

 

--END--

 

posted @   大墨垂杨  阅读(2018)  评论(1编辑  收藏  举报
编辑推荐:
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
· 基于Microsoft.Extensions.AI核心库实现RAG应用
· Linux系列:如何用heaptrack跟踪.NET程序的非托管内存泄露
· 开发者必知的日志记录最佳实践
阅读排行:
· winform 绘制太阳,地球,月球 运作规律
· AI与.NET技术实操系列(五):向量存储与相似性搜索在 .NET 中的实现
· 超详细:普通电脑也行Windows部署deepseek R1训练数据并当服务器共享给他人
· 【硬核科普】Trae如何「偷看」你的代码?零基础破解AI编程运行原理
· 上周热点回顾(3.3-3.9)
历史上的今天:
2016-12-01 Linux虚拟机安装配置手册(版本:7.3)
点击右上角即可分享
微信分享提示