2017年3月27日
spark在collect收集数据的时候出现outOfMemoryError:java heap space
摘要： spark的collect是action算子，所有最后会以数组的形式返回给driver端，当数据太大的时候就会出现堆内存溢出。OutofMemoryError:java heap space。 在spark中默认的数据的存储是1G的大小，spark.default.memory(default 1G 阅读全文
posted @ 2017-03-27 00:10 zhangqi0828 阅读(993) 评论(0) 推荐(0) 编辑