2-bitmap
在2.5亿个整数中找出不重复的整数,注,内存不足以容纳这2.5亿个整数。
思路:
bitmap用一个bit来代表存在还是不存在,现在我们要判断重不重复,则需要三个状态:不存在,存在一个,存在多个。2bits可以表示四个状态,令00表示不存在,01表示存在1个,10表示存在多个,11无意义。
令2bits用一个序号,最后只要判断某序号的2bits是01,则该序号就是不重复的。
整数一共有2^32=4G个,一个整数对应一个序号,一个序号对应2bits,也就是需要4G * 2bits = 4G * 1/4Byte = 1G的内存。
如果机器的内存没有1G,我们也可以先将所有数据分配到更小的文件中去,比如用%10,按余数分到19个文件里去(余数可能为-9~9),那么每个文件里整数的整数最多有约4G/20 = 0.2G个,一个整数对应一个序号,一个序号对应2bits,只要约0.05G。
无论是分成小文件还是部分,都只要找出序号对应的2bits是01的序号即可。
这里我们只考虑大端机,小端类似。
char getI(int i,char *p) { unsigned int un= i+(unsigned int)(1<<31);//int可能为负数,一一对应到正数 unsigned int index = un/4; unsigned int offset = un%4; return (*(p+index)>>(3-offset)) & 0x03; } void setI(int i,char *p) { unsigned int un= i+(unsigned int)(1<<31);//int可能为负数,一一对应到正数 unsigned int index = un/4; unsigned int offset = un%4; if(getI(i,p) == 0x00) //00 -> 01 { *(p+index) |= (0x40>>offset); } else if(getI(i,p) == 0x01) //00 -> 10 { *(p+index) |= (0x80>>offset); } }