2017年1月21日
分别使用Hadoop和Spark实现TopN（1）——唯一键
摘要： 0.简介 TopN算法是一个经典的算法，由于每个map都只是实现了本地的TopN算法，而假设map有M个，在归约的阶段只有M x N个，这个结果是可以接受的并不会造成性能瓶颈。 这个TopN算法在map阶段将使用TreeMap来实现排序，以到达可伸缩的目的。 当然算法有两种，一种是唯一键，就是说ke 阅读全文
posted @ 2017-01-21 12:36 PurStar 阅读(2970) 评论(0) 推荐(0) 编辑