爬虫数据去重-布隆过滤器
爬虫数据去重：
- 使用MD5生成指纹判断页面是否变化
- 数据存入mongodb，对关键字进行复合索引（千万以下）
- 对数据关键字进行哈希映射，生成指纹判断是否在redis的指纹集合中，并可通过是否过滤判断request对象是否进队，对request对象进行过滤（千万级别）
- 布隆过滤器，实现大数据去重（亿级别）
布隆过滤器：
实现：
- 先通过预期失误率p、期望样本数量n，计算需要的位数组长度m
m=-n*lnp / (ln2)**2
- 再计算哈希函数个数k
k=ln2 * m/n
- 再根据m、n、k，计算真实的失误率，因为m，k向上调整，所以真实失误率 < 预期失误率
p=(1-e**(-nk/m))**k
- 将数据(key)通过k个哈希函数得到k个哈希值
- 将得到的哈希值对m取模运算，得到位数组对应的索引位置
index=HashCode(key)&(m-1)
- 如果保存，将位数组中对应的索引位置变为1
- 如果查询，判断位数组对应的索引是否全为1，全为1则存在
原理：hashmap
- 可以将值映射到hashmap的key，在O(1)时间复杂度内返回结果
- hashmap的默认长度为16，每次扩展都是2的次幂
哈希函数特性：
- 哈希碰撞：哈希函数不同的输入可以得到相同输出结果，输入域有限，输出域无限
- 离散性：输出域每个结果在整个输出域中都是均匀分布的
