2016年9月25日
你不得不知道的十个大数据面试题
摘要： 1 海量日志数据，提取出某日访问百度次数最多的那个IP 解法1： （1）海量日志，文件太大，IP地址最多有2^32=4G，无法装入内存，，将这个大文件（hash映射：可以取模00）分成多个小文件（如1000）。 （2）对每个小文件进行hash统计，hash_map(ip,value), 得到每个文件 阅读全文
posted @ 2016-09-25 20:34 Boy.yu 阅读(2974) 评论(0) 推荐(0) 编辑