编程珠玑 第一章 位图排序算法
位图排序是一种效率极高(复杂度可达O(n))并且很节省空间的一种排序方法，但是这种排序方法对输入的数据是有比较严格的要求(数据不能重复，大致知道数据的范围)。位图排序即利用位图或者位向量来表示集合。举个例子，假如有一个集合{3,5,7,8,2,1}，我们可以用一个8位的二进制向量set[1-8]来表示该集合，如果数据存在，则将set相对应的二进制位置1，否则置0.根据给出的集合得到的set为{1,1,1,0,1,0,1,1}，然后再根据set集合的值输出对应的下标即可得到集合{3,5,7,8,2,1}的排序结果。这个就是位图排序的原理。
一.位图排序的应用：
1.给40亿个不重复的unsigned int的整数，没有排过序，然后再给一个数，如果快速判断这个数是否在那40亿个数当中。
因为unsigned int数据的最大范围在在40亿左右，40*10^8/1024*1024*8=476，因此只需申请512M的内存空间，每个bit位表示一个unsigned int。读入40亿个数，并设置相应的bit位为1.然后读取要查询的数，查看该bit是否为1，是1则存在，否则不存在。
2.给40亿个unsigned int的整数，如何判断这40亿个数中哪些数重复？
同理，可以申请512M的内存空间，然后读取40亿个整数，并且将相应的bit位置1。如果是第一次读取某个数据，则在将该bit位置1之前，此bit位必定是0；如果是第二次读取该数据，则可根据相应的bit位是否为1判断该数据是否重复。
二.位图排序的实现
由于在C语言中没有bit这种数据类型，因此必须通过位操作来实现。
假如有若干个不重复的正整数，范围在[1-100]之间，因此可以申请一个int数组，int数组大小为100/32+1。
假如有数据32，则应该将逻辑下标为32的二进制位置1，这个逻辑位置在A[1]的最低位(第0位)。
因此要进行置1位操作，必须先确定逻辑位置：字节位置(数组下标)和位位置。
字节位置=数据/32;(采用位运算即右移5位)
位位置=数据%32;(采用位运算即跟0X1F进行与操作)。
其他操作如清0和判断两个操作类似。
引自：http://www.cnblogs.com/dolphin0520/archive/2011/10/19/2217369.html
位图排序头文件：
1 #define true 1 2 #define false 0 3 typedef int bool; 4 void set_bit(unsigned int *bitmap,unsigned int k); 5 void clear_bit(unsigned int *bitmap,unsigned int k); 6 bool test_bit(unsigned int *bitmap,unsigned int k); 7 bool init_bitmap(unsigned int **bitmap,unsigned int n);
位图排序实现文件：
1 //bitmap_sort.c 文件 2 //实现位图排序功能 3 #include <stdio.h> 4 #include <stdlib.h> 5 #include <memory.h> 6 #include "bitmap_sort.h" 7 #define BITSPERWORD 32 8 #define SHIFT 5 9 #define MASK 0x1F 10 11 12 // 数字k所对应位图的位置置为1 13 void set_bit(unsigned int *bitmap,unsigned int k) 14 { 15 unsigned int byte_position; 16 unsigned short bit_position; 17 byte_position = k >> 5//byte_position表示k在位图中的字节 18 bit_position = k & 0x1F;//bit_position表示k所在字节的位 19 /*printf("byte = %d bit = %d\n", byte_position, bit_position);*/ 20 bitmap[byte_position] = bitmap[byte_position] | (1 << bit_position); 21 } 22 23 //数字k所对应位图的位置清零 24 void clear_bit(unsigned int *bitmap,unsigned int k) 25 { 26 unsigned int byte_position; 27 unsigned short bit_position; 28 byte_position = k >> 5; 29 bit_position = k & 0x1F; 30 /*printf("byte = %d bit = %d\n", byte_position, bit_position);*/ 31 bitmap[byte_position] = bitmap[byte_position] & ~(1 << bit_position); 32 } 33 34 //测试数字k所对应位图的位置为1或为0 35 bool test_bit(unsigned int *bitmap,unsigned int k) 36 { 37 unsigned int byte_position; 38 unsigned short bit_position; 39 byte_position = k >> 5; 40 bit_position = k & 0x1F; 41 /*printf("byte = %d bit = %d\n", byte_position, bit_position);*/ 42 return bitmap[byte_position] & (1 << bit_position); 43 } 44 45 //初始化位图 46 bool init_bitmap(unsigned int **bitmap, unsigned int n) 47 { 48 unsigned int size = 1 + n/BITSPERWORD, i; 49 printf("n = %u size = %u\n", n, size); 50 *bitmap = (unsigned int *)malloc(size*sizeof(unsigned int)); 51 if(*bitmap == NULL) 52 { 53 printf("Failed to malloc\n"); 54 return false; 55 } 56 //数据初始化 57 /*for(i = 1 ; i <=n; i ++) 58 clear_bit(*bitmap, i); 59 */ 60 //新开辟的空间均初始化为零 61 memset(*bitmap, 0, size*sizeof(unsigned int)); 62 return true; 63 }
位排序测试文件:
1 #include<stdio.h> 2 #include<stdlib.h> 3 #include "bitmap_sort.h" 4 //从文件proc读入数据，添加到位图中，文件的中格式是以空格隔开的，例如10 20 2。 5 //proc 读取文件指针 6 //n 位图大小 7 //bitmap 位图集合 8 bool in_process(FILE *proc, unsigned int n, unsigned int *bitmap) 9 { 10 unsigned int k; 11 printf("in process\n"); 12 while(!feof(proc)) 13 { 14 if(!fscanf(proc, "%u ", &k))//读取整数 15 { 16 printf("when input data from file, some error happened!\n"); 17 return false; 18 } 19 else if( k > n) //整数是否在范围内 20 { 21 printf("data upper overflow!\n"); 22 return false; 23 } 24 else 25 { 26 printf("data = %u\n", k); 27 set_bit(bitmap,k); 28 } 29 } 30 return true; 31 32 } 33 //从位图读取数据，写入到proc文件中 34 //proc 写入文件指针 35 //n 位图大小 36 //bitmap 位图集合 37 38 bool out_process(FILE *proc, unsigned int n, unsigned int *bitmap) 39 { 40 unsigned int i, k; 41 printf("out process\n"); 42 for(i = 1; i <= n; i ++) 43 { 44 if(!test_bit(bitmap, i)) 45 continue; 46 else if(feof(proc))//检测文件结束 47 { 48 printf("when output data into flie, some errors happened!\n"); 49 return false; 50 } 51 else 52 { 53 printf("data = %u\n", i); 54 fprintf(proc, "%u ", i); 55 } 56 57 } 58 return true; 59 } 60 61 //函数调用需要三个参数： 位图大小 输入文件 输出文件 62 int main(int argc, char *argv[]) 63 { 64 unsigned int *bitmap; 65 FILE *in, *out; 66 if(argc != 4) 67 { 68 printf("Usage: %s n infile outfile\n", argv[0]); 69 return -1; 70 } 71 72 73 unsigned int size = atoi(argv[1]); 74 75 if((in = fopen(argv[2], "r")) == NULL) 76 { 77 printf("open infile failed\n"); 78 fclose(in); 79 return -1; 80 } 81 if((out = fopen(argv[3], "w")) == NULL) 82 { 83 printf("open outfile failed\n"); 84 fclose(out); 85 return -1; 86 } 87 88 89 if(!init_bitmap(&bitmap, size)) 90 { 91 printf("init_bitmap failed\n"); 92 return -1; 93 } 94 95 if(!in_process(in, size, bitmap)) 96 { 97 printf("in_process failed\n"); 98 fclose(in); 99 free(bitmap); 100 return -1; 101 } 102 103 if(!out_process(out, size, bitmap)) 104 { 105 printf("in_process failed\n"); 106 fclose(in); 107 fclose(out); 108 free(bitmap); 109 return -1; 110 } 111 112 fclose(in); 113 fclose(out); 114 free(bitmap); 115 return 0; 116 117 }
测试数据产生文件：
View Code
1 #include<stdio.h> 2 #include<stdlib.h> 3 #include <assert.h> 4 //产生[lower upper]区间的随机整数 5 int randint(int lower, int upper) 6 { 7 assert(lower <= upper); 8 return rand()%(upper - lower + 1) + lower; 9 } 10 11 //交换set[lower - 1] 与 set [upper] 12 void swap(unsigned int *set, unsigned int x, int y ) 13 { 14 unsigned int element; 15 element = set[x - 1]; 16 set[x - 1 ] = set[y - 1]; 17 set[y - 1] = element; 18 } 19 20 //函数调用需要三个参数： 数据的最大值 数据数目 输出文件 21 int main(int argc, char *argv[]) 22 { 23 24 unsigned int *set; 25 FILE *file; 26 int i; 27 if(argc != 4) 28 { 29 printf("Usage: %s max size infile outfile\n", argv[0]); 30 return -1; 31 } 32 33 unsigned int max = atoi(argv[1]); 34 unsigned int size = atoi(argv[2]); 35 36 assert(size < max); 37 38 if((file = fopen(argv[3], "w")) == NULL) 39 { 40 printf("open infile failed\n"); 41 fclose(file); 42 return -1; 43 } 44 45 set = (unsigned int *)malloc(max * sizeof(unsigned int)); 46 47 if(set == NULL) 48 { 49 printf("Failed to malloc set\n"); 50 fclose(file); 51 return -1; 52 } 53 54 for(i = 1; i <= max; i ++) 55 set[i - 1] = i; 56 57 //产生size个[1, max]内不重复的整数，源自编程珠玑第一章习题4 58 for(i = 1; i <= size; i ++) 59 { 60 swap(set, i, randint(i, max)); 61 62 if(feof(file))//检测文件结束 63 { 64 printf("when output data into flie, some errors happened!\n"); 65 return 1; 66 } 67 else 68 { 69 printf("data[%u] = %u\n", i, set[i - 1]); 70 fprintf(file, "%u ", set[i - 1]); 71 } 72 73 } 74 75 fclose(file); 76 free(set); 77 return 0; 78 79 }
