布隆过滤器

今天在某群看到了这个神秘东西，似乎是工业上广泛采用的。又看到小雷暴学弟搞了一个不一样的东西，于是去细细分析了一下这个东西的正确率。

问题

维护一个集合，支持插入元素，查询某个元素是不是被插入过。对空间有非常严格的限制（不能储存下所有元素，甚至也不能储存下哈希值集合）。要求绝不能报告出现过的元素为没出现，但是可以以一定错误率报告没出现过的元素为出现。

解法

首先是布隆过滤器：找到 $k$ 个值域相同的理想哈希函数，维护一个 bitset（位向量），大小为哈希函数的值域。每次加入一个元素时，将它的 $k$ 个哈希值对应的位置赋为 $1$。查询时，检查 $k$ 个位置，如果都是 $1$ 报告出现，否则报告没出现。

分析

分析这个东西的正确率：考虑位向量大小为 $m$，已经加入了 $n$ 个元素（最劣情形假设它们互不相同），现在有一个询问操作（最劣情形假设它没出现过），考虑这次询问发生“假阳性”的概率。我们不妨设 $m\gg k$，一个正常的布隆过滤器应当满足这一点。容易发现这个问题等价于给定 $k$ 个位置，接下来随机 $nk$ 次，要求每个给定的位置都被随机到至少一次的概率。反手容斥一下，钦定 $i$ 个位置不能被覆盖：

$$\begin{array}{rl}P& =\sum _{i=0}^k{\displaystyle (\genfrac{}{}{0ex}{}{k}{i})}(-1{)}^i{\left({\displaystyle \frac{m-i}{m}}\right)}^{nk}\\ & =\sum _{i=0}^k{\displaystyle (\genfrac{}{}{0ex}{}{k}{i})}(-1{)}^i{\left({(1-{\displaystyle \frac{i}{m}})}^{\frac{m}{i}}\right)}^{\frac{nki}{m}}\\ & =e^{-\frac{n{k}^2}{m}}\sum _{i=0}^k{\displaystyle (\genfrac{}{}{0ex}{}{k}{i})}(-1{)}^i{\left(e^{\frac{nk}{m}}\right)}^{k-i}\\ & =e^{-\frac{n{k}^2}{m}}{(e^{\frac{nk}{m}}-1)}^k\\ & ={(1-e^{-\frac{nk}{m}})}^k\end{array}$$

这个就是布隆过滤器的错误率。

接下来看一下苏州爷过滤器。其实也就是把一个向量拆成了 $k$ 个分开存每个哈希值。那么单次错误率是每个哈希的错误率乘起来，正确率就是每次都没有失败的概率，错误率就是再用 $1$ 减一下（晕）：

$$P_{\text{苏州}}=1-{(1-{\left(\frac{k}{m}\right)}^k)}^n$$

这俩玩意看着没法比较对吧！所以先算一下后者最优情况是 $k$ 为多少。首先我们只需要最小化单次错误率 ${\left({\displaystyle \frac{k}{m}}\right)}^k$，这个东西的最小值怎么求呢？胡乱求个导（我刚刚发现自己已经完全不会求导）得到 ${\left({\displaystyle \frac{k}{m}}\right)}^k\cdot (\ln k-\ln m+1)$ 这个玩意。胡乱看看发现它只有一个零点：$k=\frac{m}{e}$，所以上述函数最小值胡乱猜测一下就取在每个块长度为 $3$ 这里——也就是错误率 $3^{-\frac{m}{3}}$。那么苏州爷过滤器错误率差不多就是这鬼样子：

$$P_{\text{最好的苏州}}=1-{(1-3^{-\frac{m}{3}})}^n$$

很快群友（和聪明的你）就发现这么做在时间上根本过不去，所以实际情况需要实际分析。当然如果你只需要卡空间，那可以说后一种方法的定论就是长度为 $3$ 最好。

而我他妈的完全不会分析布隆过滤器的最优参数，更不会比较两个方法的优劣。可能是因为苏州离常州比较近？洋人玩意我实在整不明白了。来一个苏州人比较一下这两个谁更厉害？@Cry-For-theMoon