会员
周边
众包
新闻
博问
闪存
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
beipiaodiaosi
新随笔
管理
2019年9月3日
SPARK之map()和mapPartition()的区别
摘要: map():每次处理一条数据 mapPartition():每次处理一个分区的数据,这个分区的数据处理完后,原RDD中分区的数据才能释放,可能导致OOM 当内存空间较大的时候建议使用mapPartition(),以提高处理效率 map():每次处理一条数据 mapPartition():每次处理一个
阅读全文
posted @ 2019-09-03 21:39 北漂屌丝
阅读(1769)
评论(0)
推荐(0)
编辑