BitMap算法及其实现(Python)
BitMap概述
本文介绍 BitMap 算法的应用背景，算法思想和相关实现细节。
概括而言，BitMap 主要用来解决海量数据中元素查询，去重、以及排序等问题。这里对海量数据场景的强调，似乎暗示了这个算法对空间的利用相当的精巧和经济，事实确实如此。
BitMap算法
本来数据序列的排序是一个平凡的任务，现有的多种排序算法，都有各自擅场能适应不同情形的具体要求。但我们考虑这样一个场景：有一台内存为 4 GB 的 PC，其硬盘中的一个存储了 30 亿个无符号整型数据文件，这些整数一行一个且无重复。现在需要我们对这个文件中的数据进行排序后输出。
简单计算不难得到，这个数据文件的大小为 \(4\cdot3\cdot10^9/2^{30}\) 约为 11.2 GB，显然将这个数据文件直接读入内存是办不到的。能否强行利用现有的内存 size 来存储这些数据呢？答案是可能的，此时 BitMap 算法就该 C 位亮相了。BitMap 的想法相当精妙，它对整型数据作了一种转化，使得这个办不到的存储成为可能。我们这里忽略不同语言的设定，假设一个 int 整数占 4 个字节，即32 bit，如果我们能用一个 bit 位来标示一个 int 整数，那么需要的存储空间将大大减少，估算一下可知，30亿个整数需要的内存空间为 \(3\cdot10^9/8/2^{20}\) 大概为 357.6 MB，这样，我们可以轻易将这 30 亿个 int 数放到内存中进行处理。
具体而言，BitMap 对数据的转化可简述如下：
一个整型 int 占 4 bytes，共32位，我们申请一个 int 长度为 N//32 + 1 的数组，即可存储完这些数据，其中 N 表示要进行查找的最大整数，这可以经读取遍历一轮数据获得。通过数组中的每个元素在内存在占 32 位对应表示十进制数 0-31，故可得到 BitMap 表：
array[0] 可表示 0-31
array[1] 可表示 32-63
array[2] 可表示 64-95
...
下面就只剩下如何将十进制数转换为对应的二进制 bit 位，实现以 1 当 32 的效果，显然，这部分实现只需用到一些位运算操作，具体细节见下面的代码示例。不难看出，Bitmap 排序需要的时间复杂度和空间复杂度依赖于数据中最大的数字。
代码实现
from array import array
class BitMap:
def __init__(self):
self.n = 5
self.bitsize = 1 << self.n
self.typecode = 'I' # 32位unsighed整型
self.lowerbound = 0 # 若数组中有负数，则所有数都减去最小的那个负数
@staticmethod
def greater_power2n(x):
i = 1
while True:
y = x >> i
x |= y
if y == 0:
break
i <<= 1
return x + 1
def load(self, inp):
'''
一般情形，数据应该是流式读取，这里简化起见不失一般性，将数据直接全部读完
'''
mini = min(inp)
if mini < 0:
self.lowerbound = -mini # 如果数组中有<0的数，则所有数都要减去最小的那个负数
inp = [i + self.lowerbound for i in inp]
maxi = max(inp)
num_arr = max(self.greater_power2n(maxi) >> self.n, 1) # 至少应该使用一个数组
self.arr = array(self.typecode, [0] * num_arr)
for x in inp:
self._set(x)
def _set(self, x, set_val=True):
'''
将x在数组中对应元置为1
'''
arr_idx = x >> self.n # 元素在第几个数组中，等价于x // 2**self.n
bit_idx = x & (self.bitsize - 1) # 元素在相应数组中的第几个bit位，等价于x % 2**self.n
if set_val:
self.arr[arr_idx] |= 1 << bit_idx
else:
self.arr[arr_idx] &= ~(1 << bit_idx)
def search(self, x):
if self.lowerbound != 0:
x += self.lowerbound
arr_idx = x >> self.n
bit_idx = x & (self.bitsize - 1)
existence = True if self.arr[arr_idx] & (1 << bit_idx) else False
return existence
def sort(self):
sorted_seq = []
for arr_idx, a in enumerate(self.arr):
for bit_idx in range(self.bitsize):
if a & (1 << bit_idx):
sorted_seq.append(arr_idx * self.bitsize + bit_idx - self.lowerbound)
return sorted_seq
def show_bitmap(self):
for i, a in enumerate(self.arr):
print('The {}th array elements: {:032b}'.format(i, a))
测试结果
>>> bitmap = BitMap()
>>> bitmap.load([-3, 2, 56, -34, 40, 21, 99, 25])
>>> bitmap.search(21), bitmap.search(3)
(True, False)
>>> bitmap.sort()
[-34, -3, 2, 21, 25, 40, 56, 99]
参考资料
[1] 黑胡同里の猫，详解BitMap算法，https://www.520mwx.com/view/59057
[2] Joe Bentley，Programming Pears(second edition)
