2019年10月31日
spark遇到的问题及解决方法
摘要： 1. 表中数据过亿，加载速度过慢，而我只需要加载增量数据 如：加载昨天一整天的数据，添加predicates分区，方法如下： 如果需要加载大表中全部数据，可以把数据分成多个区（读取数据库表默认是一个分区），如下是按创建时间分区，把最近三个月数据分成三个区 2.每次到了最后一个stage,报内存不足错 阅读全文
posted @ 2019-10-31 15:32 wang_zai 阅读(1015) 评论(0) 推荐(0) 编辑