Bloom Filter(布隆过滤器)
Bloom Filter是一种空间效率很高的随机数据结构,它利用位数组很简洁地表示一个集合,并能判断一个元素是否可能属于这个集合。
它的优点是空间效率和查询时间都远远超过一般的算法,缺点是有一定的误识别率和删除困难。
初始状态时,Bloom Filter是一个包含m位的位数组,每一位都置为0。
对于n个元素的集合,Bloom Filter使用k个相互独立的哈希函数,它们分别将集合中的每个元素映射到位数组中。对任意一个元素x,哈希函数映射的位置就会被置为1。
如果一个位置多次被置为1,那么只有第一次会起作用,后面几次将没有任何效果。
在下图中,k=3,也就是有3个相互独立的哈希函数,元素x1分别被映射到位置2,5,9,元素x2分别被映射到位置5,7,11。
如果要判断某个元素x是否在这个集合里,对x应用这k个哈希函数,如果映射的位置都被置1了,就说明元素x可能在这个集合中,如果某一个位置为0,说明元素x一定不在这个集合中。
应用场景:
一组元素存在于磁盘中,数据量特别大,应用程序希望在元素不存在的时候尽量不读磁盘,此时,可以在内存中构建这些磁盘数据的BloomFilter,对于一次读数据的情况,分为以下几种情况:
请求的元素不在磁盘中:
如果BloomFilter返回不存在,那么应用不需要走读盘逻辑;
如果BloomFilter返回可能存在,那么属于误判情况。
请求的元素在磁盘中:
BloomFilter返回存在。
下面摘自维基:
如果想判断一个元素是不是在一个集合里,一般想到的是将集合中所有元素保存起来,然后通过比较确定。链表,树,哈希表等等数据结构都是这种思路。但是随着集合中元素的增加,我们需要的存储空间越来越大。同时检索速度也越来越慢。
布隆过滤器的原理是,当一个元素被加入集合时,通过K个散列函数将这个元素映射成一个位数组中的K个点,把它们置为1。检索时,我们只要看看这些点是不是都是1就(大约)知道集合中有没有它了:如果这些点有任何一个0,则被检元素一定不在;如果都是1,则被检元素很可能在。这就是布隆过滤器的基本思想。
优点:
空间效率和查询时间都远远超过一般的算法,布隆过滤器存储空间和插入 / 查询时间都是常数O(k)。
另外, 散列函数相互之间没有关系,方便由硬件并行实现。
布隆过滤器不需要存储元素本身,在某些对保密要求非常严格的场合有优势。
缺点:
随着存入的元素数量增加,误算率随之增加。但是如果元素数量太少,则使用散列表足矣。
另外,一般情况下不能从布隆过滤器中删除元素。