【转】 海量数据处理系列----C++中Bitmap算法的实现
bitmap是一个十分有用的结构。所谓的Bit-map就是用一个bit位来标记某个元素对应的Value， 而Key即是该元素。由于采用了Bit为单位来存储数据，因此在存储空间方面，可以大大节省。
适用范围：可进行数据的快速查找，判重，删除，一般来说数据范围是int的10倍以下
基本原理及要点：使用bit数组来表示某些元素是否存在，比如8位电话号码
扩展：bloom filter可以看做是对bit-map的扩展
问题实例：
1)已知某个文件内包含一些电话号码，每个号码为8位数字，统计不同号码的个数。
8位最多99 999 999，大概需要99m个bit，大概10几m字节的内存即可。
2)2.5亿个整数中找出不重复的整数的个数，内存空间不足以容纳这2.5亿个整数。
将bit-map扩展一下，用2bit表示一个数即可，0表示未出现，1表示出现一次，2表示出现2次及以上。或者我们不用2bit来进行表示，我们用两个bit-map即可模拟实现这个2bit-map。
下面是一个简单的Bitmap的实现：
View Code
1 #include "stdafx.h" 2 #include <iostream> 3 using namespace std; 4 5 char *g_bitmap = NULL; 6 int g_size = 0; 7 int g_base = 0; 8 9 //功能：初始化bitmap 10 //参数： size：bitmap的大小，即bit位的个数 11 // start：起始值 12 //返回值：0表示失败，1表示成功 13 int bitmap_init(int size, int start) 14 { 15 g_size = size/8+1; 16 g_base = start; 17 g_bitmap = new char[g_size]; 18 if(g_bitmap == NULL) 19 { 20 return 0; 21 } 22 memset(g_bitmap, 0x0, g_size); 23 return 1; 24 } 25 26 //功能：将值index的对应位设为1 27 //index:要设的值 28 //返回值：0表示失败，1表示成功 29 int bitmap_set(int index) 30 { 31 int quo = (index-g_base)/8 ; //确定所在的字节 32 int remainder = (index-g_base)%8; //字节内的偏移 33 unsigned char x = (0x1<<remainder); 34 if( quo > g_size) 35 return 0; 36 g_bitmap[quo] |= x; //所在字节内的特定位置为1 37 return 1; 38 } 39 40 //功能：取bitmap第i位的值 41 //i：待取位 42 //返回值：-1表示失败，否则返回对应位的值 43 int bitmap_get(int i) 44 { 45 int quo = (i)/8 ; 46 int remainder = (i)%8; 47 unsigned char x = (0x1<<remainder); 48 unsigned char res; 49 if( quo > g_size) 50 return -1; 51 res = g_bitmap[quo] & x; 52 return res > 0 ? 1 : 0; 53 } 54 55 56 //功能：返回index位对应的值 57 int bitmap_data(int index) 58 { 59 return (index + g_base); 60 } 61 62 //释放内存 63 int bitmap_free() 64 { 65 delete [] g_bitmap; 66 return 0; 67 } 68 69 int _tmain(int argc, _TCHAR* argv[]) 70 { 71 int a[] = {5,8,7,6,3,1,10,78,56,34,23,12,43,54,65,76,87,98,89,100}; 72 int i; 73 bitmap_init(100, 0); 74 for(i=0; i<20; i++) 75 { 76 bitmap_set(a[i]); 77 } 78 for(i=0; i<=100; i++) 79 { 80 if(bitmap_get(i) > 0 ) 81 cout << bitmap_data(i)<< " "; 82 } 83 cout << endl; 84 bitmap_free(); 85 return 0; 86 }
【问题实例】
1)已知某个文件内包含一些电话号码，每个号码为8位数字，统计不同号码的个数。
8位最多99 999 999，大概需要99m个bit，大概10几m字节的内存即可。 （可以理解为从0-99 999 999的数字，每个数字对应一个Bit位，所以只需要99M个Bit==1.2MBytes，这样，就用了小小的1.2M左右的内存表示了所有的8位数的 电话）
2)2.5亿个整数中找出不重复的整数的个数，内存空间不足以容纳这2.5亿个整数。
将bit-map扩展一下，用2bit表示一个数即可，0表示未出现，1表示出现一 次，2表示出现2次及以上，在遍历这些数的时候，如果对应位置的值是0，则将其置为1；如果是1，将其置为2；如果是2，则保持不变。或者我们不用 2bit来进行表示，我们用两个bit-map即可模拟实现这个 2bit-map，都是一样的道理。
