布隆过滤器

1 使用场景

布隆过滤器的最大的用处就是，能够迅速判断一个元素是否在一个集合中。因此它有如下三个使用场景:

• 网页爬虫对 URL 的去重，避免爬取相同的 URL 地址
• 进行垃圾邮件过滤:反垃圾邮件，从数十亿个垃圾邮件列表中判断某邮箱是否垃圾邮箱(同理，垃圾短信)
• 有的黑客为了让服务宕机，他们会构建大量不存在于缓存中的key向服务器发起请求，在数据量足够大的情况下， 频繁的数据库查询可能导致 DB 挂掉。布隆过滤器很好的解决了缓存击穿的问题。