十道面试题与十个海量数据处理方法总结
摘要：
1、海量日志数据，提取出某日访问百度次数最多的那个IP。 首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个IP。同样可以采用映射的方法，比如模1000，把整个大文件映射为1000个小文件，再找出每个小文中出现频率最大的IP（可以采用h 阅读全文
posted @ 2017-05-23 17:23 不停地朝前走 阅读(524) 评论(0) 推荐(0) 编辑
