摘要: 学习了解 https://www.ibm.com/developerworks/cn/java/j-lo-springbatch1/index.html?ca=drs-#ibm-pcon 阅读全文
posted @ 2018-12-27 18:59 bf378 阅读(175) 评论(0) 推荐(0) 编辑
摘要: 答案: Spark的distinct是通过聚集去重的,可以简单理解为group by去重; 代码1:是先去重之后再排序取limit20是正确的, 代码2:是先排序之后再到各个节点进行去重之后再limit20,此时去重之后是无序的!!!! 有时候测试时候是单个节点计算体现不出来问题2存在的问题,因此单 阅读全文
posted @ 2018-12-27 15:13 bf378 阅读(779) 评论(0) 推荐(0) 编辑