2020年5月18日
Spark 中在处理大批量数据排序问题时，如何避免OOM
摘要： 错误思想 举个列子，当我们想要比较 一个 类型为 RDD[(Long, (String, Int))] 的RDD，让它先按Long分组，然后按int的值进行倒序排序，最容易想到的思维就是先分组，然后把Iterable 转换为 list，然后sortby,但是这样却有一个致命的缺点，就是Iterabl 阅读全文
posted @ 2020-05-18 19:01 可以看看你胖次吗 阅读(1013) 评论(0) 推荐(0) 编辑
Live2D