随笔分类 -  海量数据处理

海量数据处理问题总结
摘要：常见问题：①Top K问题：分治+Trie树/Hash_map+小顶堆。采用Hash(x)%M将原文件分割成小文件，如果小文件太大则继续Hash分割，直至可以放入内存。②重复问题：BitMap位图 或 Bloom Filter布隆过滤器 或 Hash_set集合。每个元素对应一个bit处理。③排序问... 阅读全文
posted @ 2014-09-08 20:22 阿杰的专栏 阅读(1765) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示