会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
Mr-Sponge
道阻且长啊~~~
CnBlogs
Home
New Post
Contact
Admin
Subscription
2024年7月17日
Spark性能优化:清除全部缓存
Spark算子是分为行动子算子和转换算子的,只有遇到行动算子,计算任务才会生成一个Job任务,当算子行动算子多起来,并且交织复杂的时候,Spark去追溯数据血缘就会比较耗时了,通常我们都会直接通过persist算子存储中间的计算结果,减少数据的重复计算。 // 存储中间计算结果,避免Spark重复计
Read More
posted @ 2024-07-17 10:59 MrSponge
Views(6)
Comments(0)
Diggs(0)
Edit
公告