大数据面试题汇总

大数据量场景面试题

目录

• 大数据量场景面试题
  • 假设有10亿手机号,如何快算判断一个手机号是否再其中？
  • 如何再海量数据中找到高频词？
  • BitMap 原理？
  • BitMap 应用？
  • 那么如何确定电话号码对应的是位图中的哪一位呢？

假设有10亿手机号,如何快算判断一个手机号是否再其中？

- 无符号整数表示范围 [0,1<<32] 1<<32 = 4294967296 bit = 512M 内存
- 40亿整数 将对应bit设置为1 接着读取要查询的数，查看相应位是否为 1，如果为 1 表示存在，如果为 0 表示不存在

如何再海量数据中找到高频词？

• 有一个 1GB 大小的文件，文件里每一行是一个词，每个词的大小不超过 16B，内存大小限制是 1MB，要求返回频数最高的 100 个词
  • 解题思路：
    • 遍历文件 对每个字符进行哈希然后取余，拆分成小文件，每个文件均小于1M
    • 使用hashMap 进行每个小文件的出现次数统计，同时构建一个最小堆 堆大小为 100。 如果遍历到的词的出现次数大于堆顶词的出现次数 则用新词替换堆顶的词，然后重新调整为小顶堆，遍历结束后，小顶堆上的词就是出现频数最高的 100 个词
    • 再构建一个最小堆，分别将每个小文件的堆跟堆顶元素进行比较，比他大则替换

BitMap 原理？

• 在java中，一个int类型占32个比特，我们用一个int数组来表示时未new int[32],总计占用内存32*32bit，现假如我们用int字节码的每一位表示一个数字的话，那么32个数字只需要一个int类型所占内存空间大小就够了，这样在大数据量的情况下会节省很多内存
• 1个int占4字节即4*8=32位，那么我们只需要申请一个int数组长度为 int tmp[1+N/32]即可存储完这些数据，其中N代表要进行查找的总数，tmp中的每个元素在内存在占32位可以对应表示十进制数0~31,所以可得到BitMap表:
• tmp[0]:可表示0~31
• tmp[1]:可表示32~63
• tmp[2]可表示64~95
• 假设这40亿int数据为：6,3,8,32,36,

BitMap 应用？

• 在3亿个整数中找出不重复的整数，限制内存不足以容纳3亿个整数?
  • 对于这种场景我可以采用2-BitMap来解决，即为每个整数分配2bit，用不同的0、1组合来标识特殊意思
    如00表示此整数没有出现过，01表示出现一次，11表示出现过多次，就可以找出重复的整数了
    需要的内存空间是正常BitMap的2倍，为：3亿*2/8/1024/1024=71.5MB
    扫描着3亿个整数，组BitMap，先查看BitMap中的对应位置，如果00则变成01，是01则变成11，是11则保持不变，当将3亿个整数扫描完之后也就是说整个BitMap已经组装完毕。最后查看BitMap将对应位为11的整数输出即可
• 某个文件内包含一些电话号码，每个号码为8位数字，统计不同号码的个数?
  • 如果用 bit表示一个号码，那么总共需要1亿个bit，总共需要大约10MB的内存
  • 把遍历到的电话号码对应的位图中的bit设置为1。当遍历完成后，如果bit值为1，则表示这个电话号码在文件中存在，否则这个bit对应的电话号码在文件中不存在。
  • 最后，统计位图中bit值为1的数量，便能得到不同电话号码的个数
    

那么如何确定电话号码对应的是位图中的哪一位呢？