会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
wwcom123
博客园
首页
新随笔
联系
订阅
管理
2019年2月28日
【Spark调优】:RDD持久化策略
摘要: 【场景】 Spark对RDD执行一系列算子操作时,都会重新从头到尾计算一遍。如果中间结果RDD后续需要被被调用多次,可以显式调用 cache()和 persist(),以告知 Spark,临时保存之前的计算结果,这样后续多个RDD使用时,就不用重新计算该临时结果了,从而节约计算资源。 要注意cach
阅读全文
posted @ 2019-02-28 10:52 wwcom123
阅读(927)
评论(0)
推荐(0)
编辑
公告