会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
PurStar
博客园
管理
2017年1月21日
分别使用Hadoop和Spark实现TopN(1)——唯一键
摘要: 0.简介 TopN算法是一个经典的算法,由于每个map都只是实现了本地的TopN算法,而假设map有M个,在归约的阶段只有M x N个,这个结果是可以接受的并不会造成性能瓶颈。 这个TopN算法在map阶段将使用TreeMap来实现排序,以到达可伸缩的目的。 当然算法有两种,一种是唯一键,就是说ke
阅读全文
posted @ 2017-01-21 12:36 PurStar
阅读(2959)
评论(0)
推荐(0)
编辑
公告