dolphinscheduler调度任务执行hadoop命令报错（connot execute /opt/soft/hadoop/libexec/hadoop-config.sh）

问题描述

在dolphinscheduler创建调度任务，任务里边命令为 hadoop fs -mkdir -p /test/ 执行失败，报错信息如下：

问题分析

经排查该问题为dolphinscheduler配置的hadoop_home异常导致执行hadoop命令失败。

问题解决

配置dolphinscheduler服务config-env 环境变量

export HADOOP_HOME=${HADOOP_HOME:-/usr/hdp/current/hadoop-client}
export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-/etc/hadoop/conf}
export HADOOP_HDFS_HOME=${HADOOP_HDFS_HOME:-/usr/hdp/current/hadoop-hdfs-client}

export PATH=$HADOOP_HOME/bin:$HADOOP_HDFS_HOME/bin:

重启dolphinscheduler服务即可

如若还有问题请排查各个节点/usr/hdp/current/dolphinscheduler 安装目录 alert-server，api-server， master-server， worker-server 下 config目录里边dolphinscheduler_env.sh是否下发修改成功，未修改请继续排查目录权限等问题。