dolphinscheduler调度任务执行hadoop命令报错(connot execute /opt/soft/hadoop/libexec/hadoop-config.sh)

问题描述

在dolphinscheduler创建调度任务,任务里边命令为 hadoop fs -mkdir -p /test/ 执行失败,报错信息如下:

问题分析

经排查该问题为dolphinscheduler配置的hadoop_home异常导致执行hadoop命令失败。

问题解决

配置dolphinscheduler服务config-env 环境变量

export HADOOP_HOME=${HADOOP_HOME:-/usr/hdp/current/hadoop-client}
export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-/etc/hadoop/conf}
export HADOOP_HDFS_HOME=${HADOOP_HDFS_HOME:-/usr/hdp/current/hadoop-hdfs-client}
export PATH=$HADOOP_HOME/bin:$HADOOP_HDFS_HOME/bin:

重启dolphinscheduler服务即可

如若还有问题请排查各个节点/usr/hdp/current/dolphinscheduler 安装目录 alert-server,api-server, master-server, worker-server 下 config目录里边dolphinscheduler_env.sh是否下发修改成功,未修改请继续排查目录权限等问题。

posted @   whiteY  阅读(261)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· CSnakes vs Python.NET:高效嵌入与灵活互通的跨语言方案对比
· DeepSeek “源神”启动!「GitHub 热点速览」
· 我与微信审核的“相爱相杀”看个人小程序副业
· Plotly.NET 一个为 .NET 打造的强大开源交互式图表库
· 上周热点回顾(2.17-2.23)
点击右上角即可分享
微信分享提示