// // // //

2019年12月16日

spark异常篇-OutOfMemory:GC overhead limit exceeded
摘要： 执行如下代码时报错 # encoding:utf-8 from pyspark import SparkConf, SparkContext from pyspark.sql import SparkSession conf = SparkConf().setMaster('yarn') sc = 阅读全文
posted @ 2019-12-16 10:54 努力的孔子 阅读(4122) 评论(0) 推荐(0) 编辑
 
spark异常篇-Removing executor 5 with no recent heartbeats: 120504 ms exceeds timeout 120000 ms 可能的解决方案
摘要： 问题描述与分析 题目中的问题大致可以描述为： 由于某个 Executor 没有按时向 Driver 发送心跳，而被 Driver 判断该 Executor 已挂掉，此时 Driver 要把 该 Executor 上执行的任务发送给另外一个 Executor 重新执行； 默认等待时长为 spark.n 阅读全文
posted @ 2019-12-16 10:45 努力的孔子 阅读(3959) 评论(0) 推荐(0) 编辑