2015年11月1日
海量数据处理方法归类
摘要： 海量数据，找出最热门（频率最高）的某一数据，或前100的数据。一般情况下数据大小几百个G，而内存限制就1个G，完成计算。应用场景： （1）海量日志数据，提取出某日访问百度次数最多的那个IP； （2）搜索引擎会通过日志文件把用户每次检索使用的所有检索串都记录下来， 假设目前有一千万个记录（这些查询... 阅读全文
posted @ 2015-11-01 22:05 吴承桀 阅读(2023) 评论(11) 推荐(0) 编辑