20220606 Java工具类，去重10亿手机号码

参考资料

• 还有一个这么香的Java工具类，去重10亿手机号码 - B站

问题描述

11 位手机号码

如何对 10 亿手机号码去重？

思路分析

11 位手机号码，首位都是 1 ，所以可以以 10 位的形式来处理

保存方法

如果以字符存入内存，占用约 9.5G

如果以 Long 类型保存，占用约 7.5G

数据结构

• 常规数组
• HashSet
• BitMap

其中常规数组和 HashSet 占用过大

BitMap 需要 99 亿个 bit 位，约 1.2G

另外，手机号码分号码段，常用的不超过 50 个，每个段占用约 12M，总占用约 600M

解决方案

/**
 * 去重10亿手机号码
 */
@Test
public void testBitSet() {
    // BitSet 只能 set int 类型，阈值不够大，需要分段
    // 这里将手机号码根据号段分桶
    Map<String, BitSet> map = new HashMap<>();
    BitSet bitSet135 = map.computeIfAbsent("135", k -> new BitSet());   // 135号码段，约占用12M，以50个号码段为例，总占用约600M
    bitSet135.set(66789098);    // 存放 13566789098

    // 测试
    System.out.println(map.get("135").get(66789098));   // true
    System.out.println(map.get("135").get(6678909));    // false
}