Bug | Spark On Yarn 报错 | ERROR cluster.YarnClientSchedulerBackend

运行环境

• hadoop3.1.3
• spark3.0.0
• jdk8

解决措施

关闭集群环境，在 hadoop目录下的/etc/hadoop/yarn-site.xml 配置文件中添加以下内容：

<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>

<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

将配置文件分发到其他所有节点，重新启动集群

最后以Yarn方式启动Spark-shell

cd $SPARK_HOME/bin
./spark-shell -master yarn

至此，问题得已解决