2020年1月10日
spark优化
摘要： rdd的计算对于transformation是lazy形式，只有在ation时才会进行计算。并且计算结果默认是临时的，用过即丢弃。 1.对多次使用的RDD进行（缓存）持久化： cache/persist后的rdd，没有使用前千万不要unpersist，unpersist就把缓存给清空了。 cache 阅读全文
posted @ 2020-01-10 14:58 ~清风煮酒~ 阅读(14) 评论(0) 推荐(0) 编辑