海量数据求 TOP N

海量数据求 TOPN

query 排名

有多台机器，每台机器日志记录了 query 的访问，每次有一个 query 查询就记录条日志。求访问次数最多的 n 条 query。

1. 在每个机器上建立 <query, count> 的哈希表
2. 每台机器将自己的 query [query0, queryn]列表汇总到一台机器上。
3. 这台机器向所有机器发送 query_i 的出现次数，将其次数汇总到这台机器上。
4. 在这台机器上建立一个大小为 n 的小顶堆。将汇总后的 <query_i,count_i> 插入到小顶堆之中，如果此时堆的大小超过了 n，那么就将堆顶元素移除。
5. 在处理完所有 query 之后，就剩下了 top n 次数的 query。