2021年1月27日
解决spark-submit的There is insufficient memory for the Java Runtime Environment to continue.（老顽固问题） failed; error='Cannot allocate memory' (errno=12)
摘要： Q：第一次提交wordcount案例，OK，一切正常。再次提交，出现下述错误。完整错误粘贴如下： 21/01/27 14:55:48 INFO spark.SecurityManager: Changing modify acls groups to: 21/01/27 14:55:48 INFO 阅读全文
posted @ 2021-01-27 16:25 wanpi 阅读(879) 评论(0) 推荐(0) 编辑
spark的standalone模式下：查看任务结束后的历史记录
摘要： 我想说4040端口太坑了，我运行wodcount案例，时间那么短，想去4040里查看任务具体运行情况，根本不可能。spark程序运行完毕后，就再无法通过4040端口看到什么了。今天我们通过修改spark的一些配置文件，使得我们的程序运行结束后，依然能够查看，并且通过WEBUI页面，可以看到一些详细内 阅读全文
posted @ 2021-01-27 15:57 wanpi 阅读(466) 评论(0) 推荐(1) 编辑
只是为了保存一些有用链接而已
摘要： Spark 中 JVM 内存使用及配置详情、spark报错与调优、Spark内存溢出OOM异常 ：https://blog.csdn.net/qq_22473611/article/details/105989061 Spark快速入门系列(5) | Spark环境搭建—standalone(2) 阅读全文
posted @ 2021-01-27 15:13 wanpi 阅读(68) 评论(0) 推荐(0) 编辑