摘要: 1.几种运行模式介绍 Spark几种运行模式: 1)Local 2)Standalone(Spark自己的集群管理) 3)Yarn 4)Mesos(Spark初期支持) 下载IDEA并安装,可以百度一下免费文档。 2.spark Standalone模式配置并测试 1)jdk1.8已经安装 2)sc 阅读全文
posted @ 2019-04-18 17:33 子墨言良 阅读(377) 评论(0) 推荐(0) 编辑
摘要: Spark on Yarn模式运行错误: bin/spark-shell --master yarn --deploy-mode client #报错 ​ ​ 查看8088页面上的工作日志 错误原因:在执行任务时检测到虚拟机的内存太小,2.2g的虚拟内存实际值,超过了2.1g的上限,不能满足该任务所 阅读全文
posted @ 2019-04-18 17:22 子墨言良 阅读(1374) 评论(0) 推荐(0) 编辑