爬虫数据去重，实现增量式爬虫

- 使用数据库建立关键字段（一个或者多个）建立索引进行去重
- 根据url地址进行去重
  - 使用场景：
    - url地址对应的数据不会变的情况，url地址能够唯一判别一个条数据的情况

  - 思路
    - url存在redis中
    - 拿到url地址，判断url在redis的url的集合中是够存在
    - 存在：说明url已经被请求过，不再请求
    - 不存在：url地址没有被请求过，请求，把该url存入redis的集合中

  - 布隆过滤器
    - 使用多个加密算法加密url地址，得到多个值
    - 往对应值的位置把结果设置为1
    - 新来一个url地址，一样通过加密算法生成多个值
    - 如果对应位置的值全为1，说明这个url地址已经抓过
    - 否则没有抓过，就把对应位置的值设置为1

- 根据数据本身进行去重
  - 选择特定的字段，使用加密算法（md5，sha1）将字段进行加密，生成字符串，存入redis的集合中
  - 后续新来一条数据，同样的方法进行加密，如果得到的字符串在redis中存在，说明数据存在，对数据进行更新，否则说明数据不存在，直接插入