会员
周边
捐助
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
立峰
自然语言处理、数据采集,欢迎加qq:2091395524交流!
博客园
首页
新随笔
联系
订阅
管理
2016年2月22日
海量数据处理10题
摘要: 1、海量日志数据,提取出某日访问百度次数最多的那个IP。 首先是这一天,并且是访问百度的日志中的IP取出来,逐个写入到一个大文件中。注意到IP是32位的,最多有个2^32个IP。同样可以采用映射的方法,比如模1000,把整个大文件映射为1000个小文件,再找出每个小文中出现频率最大的IP(可以采用h
阅读全文
posted @ 2016-02-22 08:44 胡立峰
阅读(482)
评论(0)
推荐(0)
编辑