【IT老齐008】布隆过滤器
【IT老齐008】布隆过滤器
缓存穿透
绕过缓存服务器进入数据库查询
场景举例：正常redis有1000条缓存数据，忽然遭到爬虫/流量攻击攻击，大量不存在的于redis的数据批量查询，由于redis不存在这些数据，会到数据库进行查询。由于数据库对于瞬时高并发访问的承载能力弱，所以可能对数据库造成影响，甚至崩溃。
缓存穿透攻击：指恶意用户在短时间内大量查询不存在的数据，导致大量请求在被送达数据库进行查询，当请求数量超过数据库负载上限时，使系统响应出现高延迟甚至瘫痪的行为。
布隆过滤器
布隆过滤器：由一个很长的二进制向量和一系列随机映射函数组成，可以用于检索一个元素是否在一个集合中。
实现原理
Hash （散列函数）：是把任意长度的输入通过散列算法变换成固定长度的输出，该输出就是散列值。
由于这种转换，可能存在 不同的输入可能会散列成相同的输出。
Hash算法可以将一个数据转换为一个标志，这个标志，就是视频说的hash，hash后若不存在，就由0变为1。存在，不变。
Hash面临的问题就是冲突。假设 Hash 函数是良好的，如果我们的位阵列长度为 m 个点，那么如果我们想将冲突率降低到例如 1%, 这个散列表就只能容纳 m/100 个元素。显然这就不叫空间有效了（Space-efficient）。
解决方法也简单，就是使用多个 Hash，如果它们有一个说元素不在集合中，那肯定就不在。如果它们都说在，虽然也有一定可能性它们在说谎，不过直觉上判断这种事情的概率是比较低的。
特点
- 一定的误识别率
- 删除困难
使用
布隆过滤器初始化后数据被删除
布隆过滤器某一位二进制可能被多个编号hash引用（看hash的特点：不同的输入可能会散列成相同的输出），不能直接处理删除布隆过滤器的数据。
解决方案：
- 定时异步重建布隆过滤器
- 计数BloomFilter
注意：如果不处理，布隆过滤器的误判率会增高
