布隆过滤器（Bloom Filter）原理+实战
布隆过滤器的作用是：可用来判断值 可能在集合中 和 绝对不在集合中
介绍
布隆过滤器（Bloom Filter）是 1970 年由布隆提出的。它实际上是一个很长的二进制向量（位图）和一系列随机映射函数（hash 函数）。
布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远远超过一般的算法，缺点是有一定的误识别率且删除困难。
布隆过滤器的使用场景比较多，比如我们现在讲的防止缓存穿透、垃圾邮件的检测等。Google chrome 浏览器使用 Bloom Filter 识别恶意链接，Goolge 在 BigTable 中也使用 Bloom Filter 以避免在硬盘中寻找不存在的条目。我公司使用布隆过滤器来对爬虫抓取的 Url 进行重复检查等。
实际应用
布隆过滤器广泛应用于网页黑名单系统、垃圾邮件过滤系统、爬虫网址判重系统等。
如果没有布隆过滤器，我们实现网页IP黑名单的思路就是创建一个黑名单配置表、或者一个Hash表进行存储，在未知IP访问时判断是否在黑名单，是则禁止访问。当数据量小的时候，是可以这么做的，但如果整个网页黑名单系统包含100亿个网页URL，在数据库查找是很费时的，并且如果每个URL空间为64B，那么需要内存为640GB，一般的服务器很难达到这个需求。
那么，在这种内存不够且检索速度慢的情况下，不妨考虑下布隆过滤器，但业务上要可以忍受判断失误率。
原理
布隆过滤器其实就是位图，也叫位数组，因为这个数组中每一个位置只占有 1 个bit（位），而每个bit只有 0 和 1 两种状态，默认是 0。位数组的大小也就是布隆过滤器的大小。
假设现在我们有一个布隆过滤器，大小为 10，有 3 个 hash 函数。
为了将数据 A 添加到布隆过滤器中，需要经过这 3 个 hash 函数，每个 hash 函数可以产生一个 1 ～ 10 的随机值，也就是产生了 3 个值。我们将布隆过滤器中这 3 个值对应的位置的 0 改成 1，这样这个数据 A 就被添加到了布隆过滤器中。
当我们要判断数据 A 在不在布隆过滤器中时，我们就通过过滤器中的 3 个 hash 函数将数据 A 生成 3 个值，然后看过滤器中这 3 个值对应的位置的值是不是都是 1 ，如果都是 1 那么就说数据 A 可能存在于布隆过滤器中。注意！为什么说 “可能”，因为假设数据 A 通过 3 个 hash 生成的值为 1、5、7，数据 B 为 3、4、6，数据 C 为 1、3、4，当数据 A、B 添加到过滤器中时，判断数据 C 在过滤器中是否存在会得到 “是”。所以说，布隆过滤器会出现误判，只能判断值可能存在于过滤器中。
实战
不得不说 Google Guava 真是一个万能的库，很多东西都封装好了，布隆过滤器也有封装好的实现，我们直接使用即可。
下面我们通过一个小案例来看看布隆过滤器怎么使用，代码如下所示。
<!-- Google Guava 依赖 -->
<dependency>
<groupId>com.google.guava</groupId>
<artifactId>guava</artifactId>
<version>19.0</version>
</dependency>
public static void main(String[] args) {
int total = 1000000;
BloomFilter<String> bloomFilter = BloomFilter.create(Funnels.stringFunnel(Charsets.UTF_8), total);
// 初始化 1000000 条数据到过滤器中
for (int i = 0; i < total; i++) {
bloomFilter.put("" + i);
}
// 判断 1～1010000 个数据有多少个在过滤器中
int count = 0;
for (int i = 0; i < total + 10000; i++) {
if(bloomFilter.mightContain("" + i)){
count ++;
}
}
System.out.println("匹配数量：" + count);;
}
通过 BloomFilter.create 创建一个布隆过滤器，初始化 1000000 条数据到过滤器中，然后判断 1～1010000 个数据有多少个在过滤器中，正常来说肯定是匹配到 1000000 个，事实上输出结果如下：
匹配数量：1000309
这里多了 309 条就是出现了误判。错误率调节是一个 double 类型的参数，默认值是 0.03% ，1010000 x (0.03%) = 303，这里的错误数量 309 处于这个范围内。
这里将错误率改成 0.0003%，如下：
BloomFilter<String> bloomFilter = BloomFilter.create(Funnels.stringFunnel(Charsets.UTF_8), total, 0.0003);
错误数量应该是 1010000 × (0.0003/100) = 3.03 左右，输出结果如下：
匹配数量：1000004
满足！！！
