Glückliches Kodierer

  博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

java.nio.channels.ClosedChannelException:

给节点分配的内存太小,yarn直接kill掉了进程,导致ClosedChannelException。

解决方案:

修改hadoop所有节点的yarn-site.xml,添加下列property

<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>

<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

-------------

org.apache.spark.SparkException: Yarn application has already ended! It might have been killed or unable to launch application master.

检查文件spark-env.sh的内容是否有写错!

posted on 2018-09-24 17:50  pla37401  阅读(67)  评论(0编辑  收藏  举报