2019年5月9日
spark on yarn 动态资源分配报错的解决：org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException: The auxService:spark_shuffle does not exist
摘要： 组件：cdh5.14.0 spark是自己编译的spark2.1.0-cdh5.14.0 第一步：确认spark-defaults.conf中添加了如下配置： spark.shuffle.service.enabled true //启用External shuffle Service服务 spar 阅读全文
posted @ 2019-05-09 10:41 niutao 阅读(1762) 评论(0) 推荐(0) 编辑