01 2021 档案

解决spark-submit的There is insufficient memory for the Java Runtime Environment to continue.（老顽固问题） failed; error='Cannot allocate memory' (errno=12)
摘要：Q：第一次提交wordcount案例，OK，一切正常。再次提交，出现下述错误。完整错误粘贴如下： 21/01/27 14:55:48 INFO spark.SecurityManager: Changing modify acls groups to: 21/01/27 14:55:48 INFO 阅读全文
posted @ 2021-01-27 16:25 wanpi 阅读(891) 评论(0) 推荐(0) 编辑
spark的standalone模式下：查看任务结束后的历史记录
摘要：我想说4040端口太坑了，我运行wodcount案例，时间那么短，想去4040里查看任务具体运行情况，根本不可能。spark程序运行完毕后，就再无法通过4040端口看到什么了。今天我们通过修改spark的一些配置文件，使得我们的程序运行结束后，依然能够查看，并且通过WEBUI页面，可以看到一些详细内 阅读全文
posted @ 2021-01-27 15:57 wanpi 阅读(481) 评论(0) 推荐(1) 编辑
只是为了保存一些有用链接而已
摘要：Spark 中 JVM 内存使用及配置详情、spark报错与调优、Spark内存溢出OOM异常 ：https://blog.csdn.net/qq_22473611/article/details/105989061 Spark快速入门系列(5) | Spark环境搭建—standalone(2) 阅读全文
posted @ 2021-01-27 15:13 wanpi 阅读(68) 评论(0) 推荐(0) 编辑
在IDEA上运行spark时遇到的Q&A
摘要：问题：Could not locate executable null\bin\winutils.exe in the Hadoop binaries 解决：缺少winutils.exe程序。 Hadoop都是运行在Linux系统下的，在windows下的IDEA中运行mapreduce程序，要首先 阅读全文
posted @ 2021-01-22 10:00 wanpi 阅读(281) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示