摘要: 作者:July、wuliming、pkuoliver 出处:http://blog.csdn.net/v_JULY_v。说明:本文分为三部分内容,第一部分为一道百度面试题Top K算法的详解;第二部分为关于Hash表算法的详细阐述;第三部分为打造一个最快的Hash表算法。------------------------------------第一部分:Top K 算法详解问题描述百度面试题: 搜索引擎会通过日志文件把用户每次检索使用的所有检索串都记录下来,每个查询串的长度为1-255字节。假设目前有一千万个记录(这些查询串的重复度比较高,虽然总数是1千万,但如果除去重复后,不超过3百万个。一. 阅读全文
posted @ 2012-02-29 20:38 ITfresh 阅读(239) 评论(0) 推荐(0) 编辑
摘要: 作者:July、youwang、yanxionglu。时间:二零一一年三月二十六日说明:本文分为两部分,第一部分为10道海量数据处理的面试题,第二部分为10个海量数据处理的方法总结。出处:http://blog.csdn.net/v_JULY_v。------------------------------------------第一部分、十道海量数据处理面试题1、海量日志数据,提取出某日访问百度次数最多的那个IP。首先是这一天,并且是访问百度的日志中的IP取出来,逐个写入到一个大文件中。注意到IP是32位的,最多有个2^32个IP。同样可以采用映射的方法,比如模1000,把整个大文件映射为1 阅读全文
posted @ 2012-02-29 20:33 ITfresh 阅读(239) 评论(0) 推荐(0) 编辑