布隆过滤器

今天在学习 Redis 时，看到一个名词叫做布隆过滤器，出于好奇的心里学习了一下，这里记录相关内容。

什么是布隆过滤器

• 巴顿.布隆于一九七零年提出
• 一个很长的二进制向量 （位数组）
• 一系列随机函数 (哈希)
• 空间效率和查询效率高
• 有一定的误判率（哈希表是精确匹配）

本质上布隆过滤器是一种数据结构，比较巧妙的概率型数据结构（probabilistic data structure），特点是高效地插入和查询，可以用来告诉你 “某样东西一定不存在或者可能存在”。

相比于传统的 List、Set、Map 等数据结构，它更高效、占用空间更少，但是缺点是其返回的结果是概率性的，而不是确切的。

HashMap 的问题

通常我们判断某个元素是否存在都是用的 HashMap，将需要查询的 Id 保存到 Map 的 Key 中，然后可以再 O(1) 的时间复杂度内返回结果， 效率非常的高。但是 HashMap 也有其明显的缺点，比如说空间复杂度高，要考虑负载因子（不然扩容的时候很影响效率），通常空间是不能用满的。这一切累加起来就会导致在数据量庞大的时候，HashMap 就不那么好用了。

布隆过滤器原理

布隆过滤器实际上是由一个超长的二进制位数组和一系列的哈希函数组成。

以上图为例，具体的操作流程：假设集合里面有 3 个元素 x, y, z，哈希函数的个数为 3。首先将位数组进行初始化，将里面每个位都设置位 0。对于集合里面的每一个元素，将元素依次通过 3 个哈希函数进行映射，每次映射都会产生一个哈希值，这个值对应位数组上面的一个点，然后将位数组对应的位置标记为 1。查询 W 元素是否存在集合中的时候，同样的方法将 W 通过哈希映射到位数组上的 3 个点。如果 3 个点的其中有一个点不为 1，则可以判断该元素一定不存在集合中。反之，如果 3 个点都为 1，则该元素可能存在集合中。注意：此处不能判断该元素是否一定存在集合中，可能存在一定的误判率。可以从图中可以看到：假设某个元素通过映射对应下标为 4，5，6 这 3 个点。虽然这 3 个点都为 1，但是很明显这 3 个点是不同元素经过哈希得到的位置，因此这种情况说明元素虽然不在集合中，也可能对应的都是1，这是误判率存在的原因。

建立布隆过滤器

在 Google Guava library 中 Google 为我们提供了一个布隆过滤器的实现：com.google.common.hash.BloomFilter

这里需要预估数据量和可以允许的错误率，下面代码是预估数据量 1w，错误率需要减小到万分之一。

//创建符合条件的布隆过滤器  预估数据量1w，错误率需要减小到万分之一
BloomFilter<String> filter = BloomFilter.create(new Funnel<String>() {
	@Override
	public void funnel(String from, Sink into) {
		into.putString(from, Charsets.UTF_8);
	}
}, 10000,0.0001);

//将一部分数据添加进去
for (int index = 0; index < 5000; index++) {
	filter.put("abc_test_" + index);
}

//测试结果
for (int i = 0; i < 6000; i+=2) {
	if (filter.mightContain("abc_test_" + i)) {
		System.out.println("yes");
	}
}